课堂场景下学习者情感识别研究

摘要：

课堂上学生的面部表情和姿态是学习状态的一种自然流露,能够反映出学习者当前的学习状态.而传统的情感识别方法存在识别准确率低、特征提取困难以及实时性差等问题.针对上述问题,本文提出了一种基于表情和姿态的双模态情感识别模型.该模型主要由二部分构成:一是针对学习者的表情和姿态识别,在Tiny_YOLOv3目标检测算法基础上,通过加入注意力机制SEBlock,改进原模型的卷积结构,并采用GIoU loss改进损失函数,利用K-means算法在自主构建的数据集上聚类,得到适合学习者情感识别的anchor,最终得到适合于学习者情感识别的ER_Tiny_YOLOv3模型.二是针对多模态采用决策层融合方法,进行最终结果的判定,提出针对课堂学习者的融合方法.实验结果表明,该模型相比于Tiny_YOLOv3,mAP@0.5提升了17％,Precision提升了35％,F1分数提升了22.6％.

关键词：情感识别、Tiny_YOLOv3、SEnet、GIoU loss、K-means

所属期刊栏目：10

分类号：TP183(自动化基础理论)

资助基金：国家重点研发计划资助项目;上海工程技术大学研究生创新计划资助项目

在线出版日期：2021-03-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：8-15