基于XLNet+BiGRU+Att(Label)的文本分类模型

摘要：

传统的词向量嵌入模型,如Word2Vec、GloVe等模型无法实现一词多义表达;传统的文本分类模型也未能很好地利用标签词的语义信息.基于此,提出一种基于XLNet+BiGRU+Att(Label)的文本分类模型.首先用XLNet生成文本序列与标签序列的动态词向量表达;然后将文本向量输入到双向门控循环单元(BiGRU)中提取文本特征信息;最后将标签词与注意力机制结合,选出文本的倾向标签词,计算倾向标签词与文本向量的注意力得分,根据注意力得分更新文本向量.通过对比实验,本文模型比传统模型在文本分类任务中的准确率更高.使用XLNet作为词嵌入模型,在注意力计算时结合标签词能够提升模型的分类性能.

关键词：文本分类、XLNet、BiGRU、标签词、注意力机制

所属期刊栏目：38

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;广西科技计划项目

在线出版日期：2023-01-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：412-419