一种基于注意力机制的中文短文本关键词提取模型
关键词抽取技术是自然语言处理领域的一个研究热点.在目前的关键词抽取算法中,深度学习方法较少考虑到中文的特点,汉字粒度的信息利用不充分,中文短文本关键词的提取效果仍有较大的提升空间.为了改进短文本的关键词提取效果,针对论文摘要关键词自动抽取任务,提出了一种将双向长短时记忆神经网络(Bidirectional Long Shot-Term Memory,BiL-STM)与注意力机制(Attention)相结合的基于序列标注(Sequence Tagging)的关键词提取模型(Bidirectional Long Short-term Memory and Attention Mechanism Based on Sequence Tagging,BAST).首先使用基于词语粒度的词向量和基于字粒度的字向量分别表示输入文本信息;然后,训练BAST模型,利用BiLSTM和注意力机制提取文本特征,并对每个单词的标签进行分类预测;最后使用字向量模型校正词向量模型的关键词抽取结果.实验结果表明,在8159条论文摘要数据上,BAST模型的F1值达到66.93％,比BiLSTM-CRF(Bidirectional Long Shoft-Term Memory and Conditional Random Field)算法提升了2.08％,较其他传统关键词抽取算法也有进一步的提高.该模型的创新之处在于结合了字向量和词向量模型的抽取结果,充分利用了中文文本信息的特征,可以有效提取短文本的关键词,提取效果得到了进一步的改进.
注意力机制、词向量、字向量、关键词抽取、LSTM
47
TP391(计算技术、计算机技术)
2020-03-26（万方平台首次上网日期，不代表论文的发表时间）
共6页
193-198
