结合特征融合和注意力机制的微表情识别方法

摘要：

微表情指当人们试图隐藏或抑制自己的真实情感时,脸上出现的一种无法控制的肌肉运动.此类情绪面部表情由于具有持续时间短、动作幅度小、难以掩饰和抑制的特点,因此其识别精度受到了制约.为了应对这些挑战,文中提出一种结合特征融合和注意力机制的微表情识别方法,同时考虑了光流特征和人脸特征,通过进一步加入注意力机制来提升识别性能.该网络由3个部分组成:1)提取每个微表情片段中Onset到Apex的光流与光学应变,将垂直光流、水平光流、光学应变输入到一个浅层3DCNN中,以提取光流特征;2)以深度卷积神经网络ResNet-10为迁移模型,加入卷积注意力模块以提取人脸特征;3)将两个特征向量拼接起来进行分类.利用所提方法在3个自发微表情数据集中进行实验,结果表明,所提方法在微表情识别方面优于传统方法和现有深度学习方法.

关键词：微表情识别;特征融合;注意力机制;深度学习;迁移学习

所属期刊栏目：49

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金;江苏省自然科学基金

在线出版日期：2022-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：4-11