融合空间位置注意力机制的英语题注生成模型

摘要：

为使题注生成模型生成流畅、连贯和信息丰富的特定信息题注,在Transformer架构的基础上提出了Transformer Chart to Text(TransChartText)模型.通过筛选各种科研论文和新闻文章网站,制作了基于图表的题注描述数据集,该数据集的英语题注描述涵盖了丰富的数据类别和逻辑推理.引入数据变量替换图表数据值,有效提高了模型生成题注的内容选择,促使模型生成了连贯的题注内容.为进一步增强模型学习词与词之间位置关系的能力并降低错误词序频率,模型分别对编码器和解码器引入空间位置嵌入编码和集束搜索算法.实验结果表明,TransChartText模型在内容选择(CS)、内容排序(CO)、ROUGE、BLEU指标上取得了更好的分数,生成了高质量的基于图表的英语题注.

关键词：语言模型、生成式题注、Transformer、注意力机制、集束搜索

所属期刊栏目：58

分类号：TP391(计算技术、计算机技术)

资助基金：广西自然科学基金面上项目;广西科技重大专项;广西高等教育本科教学改革工程项目;广西高校中青年教师科研基础能力提升项目;广西硕士研究生创新项目;北海市科技规划项目;北海城市科技规划项目

在线出版日期：2022-06-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：139-148