基于空间卷积融合的中文文本匹配方法

摘要：

文本匹配是自然语言处理领域的核心任务之一,在智能问答和信息检索系统中有广泛应用.近年来,基于预训练模型的文本匹配方法取得了巨大的成功.现存的方法主要使用多层自注意力Transformer网络得到基于上下文的全局向量表示,并通过全连接层进行匹配概率预测,但这种应用方式对于预训练模型输出的句向量特征有很强的依赖,而且忽略了词向量序列之间的空间特征信息,存在一定的局限性.从BERT(Bidirectional Encoder Representation from Transformers)自身结构出发,提出一种基于空间卷积融合(Spatial Convolution Fusion,SCF)的文本匹配方法,在预训练模型的基础上引入卷积网络模块,很好地结合了 BERT全局特征向量及其余词向量序列空间特征信息,可以显著提升中文文本匹配效果.具体地,把BERT最后一层Transformer的多头注意力输出看作图像特征输入卷积网络,捕捉新的匹配模式,之后融合卷积输出和原始全局向量用于匹配概率预测.在两个开源数据集和我们的生产数据集上的实验结果证明,提出的模型在中文文本匹配任务上优于一系列预训练基线方法.此外,该模型在未引入外部知识的情况下,和引入外部知识的方法相比,仍有很强的竞争力,更加符合实际生产需求.

关键词：文本匹配、预训练模型、卷积、Transformer、特征融合

所属期刊栏目：58

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-05-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：868-875