结合双流网络和双向五元组损失的跨人脸-语音匹配

摘要：

面部视觉信息和语音信息是人机交互过程中最为直接和灵活的方式,从而基于智能方式的人脸和语音跨模态感知吸引了国内外研究学者的广泛关注.然而,由于人脸-语音样本的异质性以及语义鸿沟问题,现有方法并不能很好地解决一些难度比较高的跨人脸-语音匹配任务.提出了一种结合双流网络和双向五元组损失的跨人脸-语音特征学习框架,该框架学到的特征可直接用于4种不同的跨人脸-语音匹配任务.首先,在双流深度网络顶端引入一种新的权重共享的多模态加权残差网络,以挖掘人脸和语音模态间的语义关联;接着,设计了一种融合多种样本对构造策略的双向五元组损失,极大地提高了数据利用率和模型的泛化性能;最后,在模型训练中进行ID分类学习,以保证跨模态表示的可分性.实验结果表明,与现有方法相比,能够在4个不同跨人脸-语音匹配任务上取得效果的全面提升,某些评价指标效果提升近5％.

关键词：人脸-语音关联、跨模态感知、双流网络、双向五元组损失、加权残差网络

所属期刊栏目：59

分类号：TP18;TP391(自动化基础理论)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;综合业务网理论;国家重点实验室基金;福建省自然科学基金;之江实验室开放课题

在线出版日期：2022-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：694-705