基于ALBERT与多头交叉注意力的阅读理解模型

摘要：

针对目前机器阅读理解任务中文章和问题缺乏有效信息交互导致准确率较低的问题,笔者提出基于ALBERT的多头交叉注意力模型.通过Albert模型和多头交叉注意力相结合,能够有效提高自动问答的效果.通过在常规数据集Squad2.0上进行测试,与目前现有模型进行对比实验,证明ALBERT的多头交叉注意力模型能够显著提高阅读理解任务的准确率.

关键词：自然语言处理;机器阅读理解;ALBERT;多头交叉注意力

所属期刊栏目：33

分类号：TP309(计算技术、计算机技术)

在线出版日期：2021-10-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：69-72