基于表情及姿态融合的情绪识别

摘要：

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698％ 和88.024％ 的平均识别率;融合情绪识别平均识别率为95.766％,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.

关键词：深度学习;情绪识别;决策层融合;面部表情;身体姿态

所属期刊栏目：58

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金;四川省科技计划

在线出版日期：2021-10-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：81-86