基于BERT的短文本相似度判别模型

摘要：

短文本的表示方法和特征提取方法是自然语言处理基础研究的一个重要方向,具有广泛的应用价值.本文提出了BERT_BLSTM_TCNN模型,该神经网络模型利用BERT的迁移学习,并在词向量编码阶段引入对抗训练方法,训练出包括句的语义和结构特征的且泛化性能更优的句特征,并将这些特征输入BLSTM_TCNN层中进行特征抽取以完成对短文本的语义层面上的相似判定.在相关数据集上的实验结果表明:与最先进的预训练模型相比,该模型在有着不错的判定准确率的同时还有参数量小易于训练的优点.

关键词：词向量模型、自然语言处理、短文本相似度、卷积神经网络、循环神经网络

所属期刊栏目：17

分类号：G642(高等教育)

资助基金：江苏省自然科学基金面上项目BK20171495

在线出版日期：2021-03-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：14-18