结合Bert与超图卷积网络的文本分类模型

摘要：

现有的图神经网络在处理文本分类问题时,通常将文本转化为图结构,然后利用图神经网络进行学习表示,从而分类.但基于图神经网络的方法存在两点不足,一是图结构利用二元关系对单词联系进行表示,缺乏对文本高阶关系的捕获;二是图神经网络类模型难以捕获文本中丰富的语义关联.针对以上问题,提出了一种采用注意力机制将Bert与超图卷积网络结合的文本分类模型.通过Bert模型获得文本中的局部语义信息,通过构建文本超图获得单词间更广泛的文本关联信息,并经过超图卷积网络的学习表示得到文本全局结构特征,利用注意力机制对两种特征进行交互影响,获得更全面更充分的文本表示.在4个公开数据集上进行的多次实验表明,该模型与基线模型相比有更好的分类效果.

关键词：文本分类、Bert、超图、神经网络

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划;国家自然科学基金

在线出版日期：2023-09-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：107-115