联合自编码任务的多机制融合复述生成模型

摘要：

基于神经网络编码-解码框架的复述生成模型存在两方面的问题:1)生成的复述句中存在实体词不准确、未登录词和词汇重复生成;2)复述平行语料的有限规模限制了编码器的语义学习能力.针对第一个问题,本文提出在解码过程中融合注意力机制、复制机制和覆盖机制的多机制复述生成模型,利用复制机制从原句复制词语来解决实体词和未登录词生成问题;利用覆盖机制建模学习注意力机制的历史决策信息来规避词汇重复生成.针对第二个问题,基于多任务学习框架,提出在复述生成任务中联合自编码任务,两个任务共享一个编码器,同时利用平行复述语料和原句子数据,共同增强复述生成编码器的语义学习能力.在Quora复述数据集上的实验结果表明,提出的联合自编码的多机制融合复述生成模型有效地解决了复述生成的问题,并提高了复述句的生成质量.

关键词：复述生成、自编码、多任务学习、多机制融合、注意力机制、复制机制、覆盖机制

所属期刊栏目：56

资助基金：国家自然科学基金;中央高校基本科研业务费专项资金;北京市自然科学基金;科学技术部国际科技合作计划

在线出版日期：2020-05-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：53-60