LAC-DGLU:基于CNN和注意力机制的命名实体识别模型

摘要：

对文本进行分词和词嵌入通常是中文命名实体识别的第一步,但中文的词与词之间没有明确的分界符,专业词及生僻词等未收录词(Out of Vocabulary,OOV)严重干扰了词向量的计算,基于词向量嵌入的模型性能极易受到分词效果的影响.同时现有模型大多使用循环神经网络,计算速度较慢,很难达到工业应用的要求.针对上述问题,构建了一个基于注意力机制和卷积神经网络的命名实体识别模型,即LAC-DGLU.针对分词依赖的问题,提出了一种基于局部注意力卷积(Local Attention Convolution,LAC)的字嵌入算法,减轻了模型对分词效果的依赖.针对计算速度较慢的问题,使用了一种带门结构的卷积神经网络,即膨胀门控线性单元(Dilated Gated Linear Unit,DGLU),提高了模型的计算速度.在多个数据集上的实验结果显示,该模型相比现有最优模型F1值提高了0.2％～2％,训练速度可以达到现有最优模型的1.4～1.9倍.

关键词：字嵌入、局部注意力卷积、膨胀卷积、门控线性单元、残差结构

所属期刊栏目：47

分类号：TP391(计算技术、计算机技术)

在线出版日期：2020-11-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：212-219