基于特征点与多网络联合训练的表情识别

摘要：

由于表情图片序列比单张表情图片的信息更丰富,因此基于前者的表情识别容易取得更好的实验效果.针对表情图片序列,提出一种仅基于人脸特征点信息和联合训练2个深度神经网络进行表情识别的方法.首先基于长度不定的图片序列抽取各帧之间差异最大化的子集;其次提取该子集中所有图片的特征点坐标进行预处理;再将坐标分别输入微观深度网络(MIC-NN)与宏观深度网络(MAC-NN)进行独立训练;最后基于惩罚MIC-NN与MAC-NN间差异的损失函数联合训练二者后,使用融合网络(FUS-NN)作为最终预测模型.在CK+,Oulu-CASIA,MMI这3个数据集中的实验结果表明,FUS-NN取得了优于绝大部分已知方法1％～15％的识别率,仅在MMI数据集中落后于最优模型2％;相比之下,该网络的时间复杂度远远小于效果相近的模型,取得了更好的识别效果与计算资源的平衡.

关键词：表情识别、深度学习、联合训练、融合网络

所属期刊栏目：31

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金61673108;江苏省自然科学基金BK20151102;北京大学机器感知与智能教育部重点实验室开放课题K-2016-03;东南大学水声信号处理教育部重点实验室开放项目UASP1502

在线出版日期：2019-04-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：552-559