面向文本分类的transformer-capsule集成模型

摘要：

针对浅层的单模型文本分类算法不能很好地提取到文本序列多层次特征的问题,提出一种transformer-capsule集成模型,分别利用胶囊网络(capsule network)和transformer来提取文本的局部短语特征和全局语义特征,通过集成的形式更全面地得到文本序列的多层次特征表示.此外,针对传统胶囊网络动态路由时存在部分噪音胶囊干扰的问题,提出基于注意力机制的动态路由算法,赋给噪音胶囊较小的权重,减少传递给后续胶囊的干扰信息,实验证明该机制能有效提高分类性能.选取文本分类通用语料库中4个单标签数据集和1个多标签Reuters-21578数据集进行实验,取得了较好的实验结果,其中在Reuters-21578上F1值相比Capsule-B模型提升了3.6％,达到了89.4％.

关键词：文本分类、transformer、胶囊网络、集成模型

所属期刊栏目：56

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;中央高校基本科研业务费专项

在线出版日期：2020-12-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：151-156