基于掩码矩阵-BERT注意力机制的神经机器翻译

摘要：

BERT在各种自然语言处理任务上取得了优异的效果,但是,其在跨语言任务上并没有取得很好的结果,尤其是在机器翻译任务上.文中提出BERT增强的神经机器翻译(BE-NMT)模型,该模型分为三部分来提升神经机器翻译(NMT)模型对BERT输出表征的利用.首先,针对BERT在NMT任务上微调所造成的知识遗忘,使用一种掩码矩阵(MASKING)策略来缓解这种情况;其次,使用注意力机制的方式将BERT的输出表征融入NMT模型中,同时更好地权衡了模型中的多个注意力机制;最后,融合BERT的多层隐藏层输出来补充其最后一层隐藏层输出缺失的语言信息.在多个翻译任务上进行实验,结果表明提出的模型明显优于基线模型,在联合国平行语料库英文→中文翻译任务上提高了1.93个BLEU值.此外,文中的模型在其他翻译任务上也取得了不错的提升.

关键词：神经网络、机器翻译、深度学习、自然语言处理、预训练、语言模型、注意力机制、机器学习

所属期刊栏目：46

分类号：TN919-34;TP391

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;云南省重大科技专项计划项目;云南省重大科技专项计划项目;云南省高新技术产业项目

在线出版日期：2023-11-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：111-116