期刊专题

10.3724/SP.J.1089.2019.17906

深度跨模态环境声音合成

引用
随着计算机图形学技术的不断发展,用户对视频及动画的声音质量提出了更高的要求.针对现有方法中存在的算法复杂度高,可扩展性不强等问题,提出一种基于CGAN和SampleRNN的深度学习的环境声音合成算法,采用VGG网络模型提取视频深度特征.并将视频深度特征通过一个时序同步网络模型,实现具有更高同步性的视频到音频的跨模态特征转换;通过音色增强网络模型对合成声音的音色进行增强,以提高网络结构的可扩展性,并得到最终与视频同步的、真实感较强的环境声.通过对音视频跨模态数据集中12类不同类别视频进行训练与测试,结果的主观与客观评价表明,文中算法所生成的结果真实感强,提高了现有算法的可扩展性.

环境声音合成、深度学习、跨模态、时序同步网络模型、音色增强网络模型

31

TP391.41(计算技术、计算机技术)

国家自然科学基金61672375, 61170118

2019-12-31(万方平台首次上网日期,不代表论文的发表时间)

共9页

2047-2055

暂无封面信息
查看本期封面目录

计算机辅助设计与图形学学报

1003-9775

11-2925/TP

31

2019,31(12)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn