跨模态语义时空动态交互情感分析研究

摘要：

针对传统情感分析中存在的模态间交互性差、时空特征融合度低的问题,建立了一种跨模态的语义时空动态交互网络.通过引入双向长短期记忆网络挖掘各模态的时间序列特征,加入自注意力机制强化模态内特征的权重赋值,将自动筛选出的特征矩阵送入图卷积神经网络进行语义交互.然后以时间戳为基础进行特征聚合,计算聚合层的相关系数,获得融合后的联合特征,实现跨模态空间交互,最终完成情感极性的分类与预测.使用公开数据集对所提出的模型进行评估验证,实验结果表明,多模态时间序列提取和跨模态语义空间交互机制可以实现模态内和模态间特征的全动态融合,有效地提升了情感分类的准确率和F1值,在CMU-MOSEI数据集上分别提高了1.7%～13.5%和2.1%～14.0%,表现出良好的健壮性和先进性.

关键词：跨模态情感分析、语义交互、时空交互、双向长短期记忆网络、图卷积网络

所属期刊栏目：60

分类号：TP181(自动化基础理论)

资助基金：陕西省哲学社会科学重大理论与现实问题研究项目;国家重点研发计划;国家自然科学基金;陕西省自然科学基础研究计划项目

在线出版日期：2024-01-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：165-173