基于注意力卷积的神经机器翻译

摘要：

现有神经机器翻译模型普遍采用的注意力机制是基于单词级别的,文中通过在注意力机制上执行多层卷积,从而将注意力机制从基于单词的级别提高到基于短语的级别.经过卷积操作后的注意力信息将愈加明显地体现出短语结构性,并被用于生成新的上下文向量,从而将新生成的上下文向量融入到神经机器翻译框架中.在大规模的中-英测试数据集上的实验结果表明,基于注意力卷积的神经机翻译模型能够很好地捕获语句中的短语结构信息,增强翻译词前后的上下文依赖关系,优化上下文向量,提高机器翻译的性能.

关键词：神经机器翻译、多层卷积网络结构、注意力机制、短语级别

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61673289;国家重点研发计划"政府间国际科技创新合作"重点专项2016YFE0132100

在线出版日期：2018-12-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：226-230