跨语言语义向量的生成模型

摘要：

目前较优秀的NLP系统模型比较依赖有标注的数据来学习复杂的模型,这种模型通常在一个单一语料上进行训练,不能直接利用到其他语言上.收集每种语料上的训练数据是不现实的,因此想通过跨语言的方式进行低资源语料之间的迁移学习,达到在无监督学习的条件下能够进行跨语言的任务,这里进行了句子级别的语义向量的生成,并利用下游分类任务查看语义向量的质量.基于此本文提出了基于跨语言语义向量生成的模型,并引入命名实体识别,利用平行语料做语义对齐等多任务学习.实验数据为XNLI数据集,也是跨语言任务中常用的数据集.在多任务学习模型下,和基线模型相比,在XN-LI数据集上效果有明显提升.

关键词：跨语言任务、迁移学习、多任务学习、语义向量

所属期刊栏目：10

分类号：TP399(计算技术、计算机技术)

在线出版日期：2021-06-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：44-48