基于Stacking-Bert集成学习的中文短文本分类算法

摘要：

由于word2vec、Glove等静态词向量表示方法存在无法完整表示文本语义等问题,且当前主流神经网络模型在做文本分类问题时,其预测效果往往依赖于具体问题,场景适应性差,泛化能力弱.针对上述问题,提出一种多基模型框架(Stacking-Bert)的中文短文本分类方法.模型采用BERT预训练语言模型进行文本字向量表示,输出文本的深度特征信息向量,并利用TextCNN、DPCNN、TextRNN、TextRCNN等神经网络模型构建异质多基分类器,通过Stacking集成学习获取文本向量的不同特征信息表达,以提高模型的泛化能力,最后利用支持向量机(support vector machine,SVM)作为元分类器模型进行训练和预测.与word2vec-CNN、word2vec-BiLSTM、BERT-TexCNN、BERT-DPCNN、BERT-RNN、BERT-RCNN等文本分类算法在网络公开的三个中文数据集上进行对比实验,结果表明,Stacking-Bert集成学习模型的准确率、精确率、召回率和F1均为最高,能有效提升中文短文本的分类性能.

关键词：多基模型框架、BERT预训练语言模型、Stacking集成学习、短文本分类

所属期刊栏目：22

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金;云南省教育厅科学研究基金

在线出版日期：2022-05-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：4033-4038