结合双预训练语言模型的中文文本分类模型

摘要：

针对Word2Vec等模型所表示的词向量存在语义模糊从而导致的特征稀疏问题,提出一种结合自编码和广义自回归预训练语言模型的文本分类方法.首先,分别通过BERT、XLNet对文本进行特征表示,提取一词多义、词语位置及词间联系等语义特征;再分别通过双向长短期记忆网络(BiLSTM)充分提取上下文特征,最后分别使用自注意力机制(Self_Attention)和层归一化(Layer Normalization)实现语义增强,并将两通道文本向量进行特征融合,获取更接近原文的语义特征,提升文本分类效果.将提出的文本分类模型与多个深度学习模型在 3 个数据集上进行对比,实验结果表明,相较于基于传统的Word2Vec以及BERT、XLNet词向量表示的文本分类模型,改进模型获得更高的准确率和F1 值,证明了改进模型的分类有效性.

关键词：预训练语言模型、双向长短期记忆网络、自注意力机制、层归一化

所属期刊栏目：13

分类号：TP391(计算技术、计算机技术)

资助基金：全国统计科学研究项目2020LY080

在线出版日期：2023-08-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1-6,14