基于BOOSTING框架的视觉语音多模态情感识别检测方法

摘要：

情感识别技术是智能人机交互的重要基础,它涉及计算机科学、语言学、心理学等多个研究领域,是模式识别和图像处理领域的研究热点.鉴于此,基于Boosting框架提出两种有效的视觉语音多模态融合情感识别方法:第一种方法将耦合HMM(coupled HMM)作为音频流和视频流的模型层融合技术,使用改进的期望最大化算法对其进行训练,着重学习难于识别的(即含有更多信息的)样本,并将AdaBoost框架应用于耦合HMM的训练过程,从而得到AdaBoost-CHMM总体分类器;第二种方法构建了多层Boosted HMM(MBHMM)分类器,将脸部表情、肩部运动和语音三种模态的数据流分别应用于分类器的某一层,当前层的总体分类器在训练时会聚焦于前一层总体分类器难于识别的样本,充分利用各模态特征数据间的互补特性.实验结果验证了两种方法的有效性.

关键词：情感识别、表情识别、Boosting方法、情感数据库

所属期刊栏目：40

分类号：TN911.73-34;TM417

资助基金：四川省软件工程专业卓越工程师质量工程项目支持11100-14Z00327

在线出版日期：2017-12-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：59-63