音视频双模态情感识别融合框架研究

摘要：

针对双模态情感识别框架识别率低、可靠性差的问题,对情感识别最重要的两个模态语音和面部表情进行了双模态情感识别特征层融合的研究.采用基于先验知识的特征提取方法和VGGNet-19网络分别对预处理后的音视频信号进行特征提取,以直接级联的方式并通过PCA进行降维来达到特征融合的目的,使用BLSTM网络进行模型构建以完成情感识别.将该框架应用到AViD-Corpus和SEMAINE数据库上进行测试,并和传统情感识别特征层融合框架以及基于VGGNet-19或BLSTM的框架进行了对比.实验结果表明,情感识别的均方根误差(RMSE)得到降低,皮尔逊相关系数(PCC)得到提高,验证了文中提出方法的有效性.

关键词：音视频、双模态、特征层融合、情感识别、BLSTM

所属期刊栏目：56

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发项目;国家自然科学基金

在线出版日期：2020-03-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：140-146