基于BERT+ACRNN的唐卡文本关系分类算法研究

摘要：

唐卡领域知识图谱的构建,需要进行唐卡文本关系分类,但实验发现使用传统模型卷积神经网络(CNN)和长短期记忆网络(LSTM)时模型泛化能力弱且语义特征提取能力不足,最终效果不佳.文章提出一种BERT-ACRNN模型,该模型使用BERT预训练语言模型获得上下文语义信息,分别通过CNN和带自注意力机制的双向长短期记忆网络(Bi-LSTM)获得文本的局部特征信息与上下文特征表示,再将两种特征信息进行融合,最后进行关系分类.实验结果表明,BERT-ACRNN模型在唐卡领域文本数据集上,F1值达到93.23％,相比于BERT模型高出4.68％,与BERT-CNN、BERT-BiLSTM相比F1值分别提升了2.69％和2.81％.

关键词：唐卡文本、文本分类、BERT-ACRNN模型、预训练模型、融合特征

所属期刊栏目：6

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金;甘肃省自然科学基金;中央高校国家民委专项项目

在线出版日期：2022-07-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：102-108