基于唇重构与三维耦合CNN的多视角音唇一致性判别

摘要：

针对传统音唇一致性判别方法主要对正面唇动视频进行处理,未考虑视频采集角度变化对结果的影响,且容易忽略唇动过程中的时空特性等不足,文中以唇部角度变化对一致性判别的影响为研究重心,结合三维卷积神经网络在非线性表示和时空维度特征提取上的优势,提出了基于正面唇重构与三维耦合卷积神经网络的多视角音唇一致性判别方法.该方法先通过在生成器中引入自映射损失来提高正面重建效果,并采用基于自映射监督循环一致性生成对抗网络(SMS-CycleGAN)的唇重构方法对多视角唇图进行角度分类及正面重构;然后设计两个异构三维卷积神经网络,分别用来描述音频和视频信号,并提取包含长时时空关联信息的三维卷积特征;最后引入对比损失函数作为音视频信号匹配的相关度鉴别度量,将音视频网络输出耦合到同一表示空间,并进行一致性判别.实验结果表明,文中方法能重建出更高质量的正面唇图,一致性判别性能优于多种不同类型的比较方法.

关键词：一致性判别、生成对抗网络、卷积神经网络、正面重构、多模态

所属期刊栏目：51

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家重点研发计划

在线出版日期：2023-05-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：70-77