一种基于自注意力的句子情感分类方法

摘要：

注意力机制近年来在多个自然语言任务中得到广泛应用,但在句子级别的情感分类任务中仍缺乏相应的研究.文中利用自注意力在学习句子中重要局部特征方面的优势,结合长短期记忆网络(Long Short-Term Model,LSTM),提出了一种基于注意力机制的神经网络模型(Attentional LSTM,AttLSTM),并将其应用于句子的情感分类.AttLSTM首先通过LSTM学习句子中词的上文信息;接着利用自注意力函数从句子中学习词的位置信息,并构造相应的位置权重向量矩阵;然后通过加权平均得到句子的最终语义表示;最后利用多层感知器进行分类和输出.实验结果表明,AttLSTM在公开的二元情感分类语料库Movie Reviews(MR),Stanford Sentiment Treebank(SSTb2)和Internet Movie Database(IMDB)上的准确率最高,分别为82.8％,88.3％和91.3％;在多元情感分类语料库SSTb5上取得50.6％的准确率.

关键词：深度学习、情感分类、自注意力、长短期记忆神经网络、自然语言处理

所属期刊栏目：47

分类号：TP183(自动化基础理论)

资助基金：广东省自然科学基金;广东省科技厅应用型科技研发专项资金;广东省医学科学技术研究基金项目

在线出版日期：2020-04-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：204-210