基于Attention-BIGRU-CRF的中文分词模型

摘要：

自然语言处理是人工智能发展的重要分支,而中文分词是自然语言处理的第一步,提高中文分词的效率可以提高自然语言处理的结果的准确性.因此提出一种Attention-BIGRU-CRF模型,首先将中文文本通过词向量转换,将文本转换成向量的形式,再利用BIGRU进行序列化学习,随后引入attention机制将BIGRU的输入和输出进行相关性计算获取更精确向量值,最后将该向量值与BIGRU序列化得到的向量值进行拼接作为CRF层的输入并得到标签预测结果.由仿真结果可知,Attention-BIGRU-CRF模型在人民日报2014和MSRA的语料库得到的F1值分别为97.34％和98.25％,处理文本的分词速率为248.1 KB/s.故融合attention机制和BIGRU-CRF网络的模型既能够提高分词准确率,又能提高分词时间和效率.

关键词：自然语言处理、双向门控循环单元、条件随机场、注意力机制、中文分词

分类号：TP301(计算技术、计算机技术)

在线出版日期：2022-08-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：7-12,19