基于多模型集成的语义文本相似性判断

摘要：

作为目前自然语言处理及人工智能领域的主流方法,各种预训练语言模型由于在语言建模、特征表示、模型结构、训练目标及训练语料等方面存在差异,导致它们在下游任务中的表现各有优劣.为了更好地融合不同预训练语言模型中的知识及在下游任务中的学习能力,结合语义文本相似性判断任务的特点,提出一种多模型集成方法MME-STS,给出相应的模型总体架构及相应的特征表示,并针对多模型的集成问题分别提出基于平均值、基于全连接层训练和基于Adaboost算法的3种不同集成策略,同时在两个常用的经典基准数据集上验证该方法的有效性.实验结果表明,MME-STS在国际语义评测SemEval 2014任务4的SICK和SemEval 2017 STS-B数据集上的Pearson共关系值和Spearman相关系数值均超过单个预训练语言模型方法.

关键词：深度学习、语义文本相似度、自然语言处理、预训练语言模型、多模型集成

所属期刊栏目：50

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金;广东省基础与应用研究基金资助项目

在线出版日期：2022-06-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1-9