基于LSTM-Attention神经网络的文本特征提取方法

摘要：

针对当前文本分类神经网络不能充分提取词语与词语和句子与句子之间的语义结构特征信息的问题,提出一种基于LSTM-Attention的神经网络实现文本特征提取的方法.首先,分别使用LSTM网络对文本的词语与词语和句子与句子的特征信息进行提取;其次,使用分层的注意力机制网络层分别对文本中重要的词语和句子进行选择;最后,将网络逐层提取得到的文本特征向量使用softmax分类器进行文本分类.实验结果表明,所提方法可以有效地提取文本的特征,使得准确率得到提高.将该方法应用在IMDB,yelp2013和yelp2014数据集上进行实验,分别得到52.4%,66.0%和67.6%的正确率.

关键词：LSTM-Attention、注意力机制、文本分类、神经网络、文本特征提取、softmax

所属期刊栏目：41

分类号：TN711-34;TP391.41(基本电子电路)

资助基金：广西科技计划项目广西重点研发计划桂科AB16380264;国家科技支撑计划课题2014BAK11B02 Project Supported by Guangxi Science and Technology PlanGui ke AB16380264;National Science and Technology Support Plan2014BAK11B02

在线出版日期：2018-05-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：167-170