基于改进Transformer的生成式文本摘要模型

摘要：

基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限.为此,提出了基于改进Transformer的生成式文本摘要模型.该模型利用Transformer提取全局语义,使用局部卷积提取器提取原文细粒度特征,并设计全局门控单元以防止信息冗余和弥补语义不足,筛选出利于摘要生成的文本关键信息.实验结果表明,所提模型在大规模中文短文本摘要数据集(large scale Chinese short text summarization,LCSTS)上的效果有明显的提升,在电力运维摘要数据集上,也有良好效果,具有可扩展性.

关键词：生成式摘要、序列到序列、改进Transformer、局部卷积

所属期刊栏目：35

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金;国家重点研发计划;国家重点研发计划

在线出版日期：2023-03-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：185-192