基于BERT和多头注意力的中文命名实体识别方法

摘要：

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiL-STM-CRF)模型存在准确率低和向量无法表示上下文的问题,提出一种改进的中文命名实体识别模型.利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注,提取出命名实体.在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明,改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明,BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition,NER)任务.

关键词：命名实体识别、自注意力机制、BERT模型、双向门控循环单元、机理分析

所属期刊栏目：35

分类号：TP391.1(计算技术、计算机技术)

在线出版日期：2023-03-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：110-118