基于Transformer编码器的语义相似度算法研究

摘要：

语义相似度计算旨在计算文本之间在语义层面的相似程度,是自然语言处理中一项重要的任务.针对现有的计算方法不能充分表示句子的语义特征的问题,提出基于Transformer编码器的语义特征抽取的模型TEAM,利用Transformer模型的上下文语义编码能力充分提取句子内的语义信息,对句子进行深层语义编码.此外,通过引入交互注意力机制,在编码两个句子时利用交互注意力机制提取两个句子之间关联的相似特征,使模型更擅长捕捉句子内部重要的语义信息,提高了模型对语义的理解和泛化能力.实验结果表明,该模型在英文和中文的语义相似度计算任务上能够提高结果的准确性,较已有方法表现出更好的效果.

关键词：语义相似度、Transformer编码器、交互注意力机制、语义表示

所属期刊栏目：57

分类号：TP391(计算技术、计算机技术)

在线出版日期：2021-07-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：158-163