FMNN:融合多神经网络的文本分类模型

摘要：

文本分类是自然语言处理中一项基本且重要的任务.基于深度学习的文本分类方法大多只针对单一的模型结构进行深入研究,这种单一的结构缺乏同时捕获并利用全局语义特征与局部语义特征的能力,且网络的加深会损失更多的语义信息.对此,提出了一种融合多神经网络的文本分类模型FMNN(A Text Classification Model Fused with Multiple Neural Network),FMNN在最大限度减小网络深度的同时,融合了BERT,RNN,CNN和Attention等神经网络模型的特性.用BERT作为嵌入层获得文本的矩阵表示,用BiLSTM和Attention联合提取文本的全局语义特征,用CNN提取文本多个粒度下的局部语义特征,将全局语义特征和局部语义特征分别作用于softmax分类器,最后采用算术平均的方式对结果进行融合.在3个公开数据集和1个司法数据集上的实验结果表明,FMNN模型实现了更高的文本分类准确率,其中在司法数据集上的准确率达到了90.31％,证明了该模型具有较好的实用价值.

关键词：文本分类;深度学习;全局语义特征;局部语义特征;语义损失;融合

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划;国家重点研发计划;国家自然科学基金

在线出版日期：2022-03-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：281-287