基于上下文增强LSTM的多模态情感分析

摘要：

近年来,多模态情感分析成为了越来越受欢迎的热门领域,它将传统的基于文本的情感分析扩展到文本、图像以及声音相结合的多模态分析层面.多模态情感分析通常需要获取单模态内部的信息以及多模态之间的交互信息.为了利用每个模态中语言表达的上下文来帮助获取这两种信息,文中提出了一种基于上下文增强LSTM的多模态情感分析方法.具体而言,首先对于多模态的每种表达,结合上下文特征,分别使用LSTM进行编码,再分别捕捉单模态内部的信息;接着融合这些单模态的独立信息,再使用LSTM获得多模态间的交互信息,从而形成多模态特征表示;最后采用最大池化策略,对多模态表示进行降维,从而构建情感分类器.该方法在MOSI数据集上的ACC值达到75.3％,F 1达到了74.9.相比传统的机器学习方法(如SVM),所提方法的ACC值高出8.1％,F 1值高出7.3.相比目前较为先进的深度学习方法值,所提方法在ACC值上高出0.9％,F 1值上高出1.3,与此同时可训练参数量只有之前方法的1/20,训练速度提高了约10倍.大量的对比实验结果表明,相比传统的多模态情感分类方法,所提方法的性能有显著提升.

关键词：多模态、情感分析、上下文增强

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61331011,61375073

在线出版日期：2019-12-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：181-185