新时代人民日报分词语料库构建、性能及应用(二)——深度学习自动分词模型构建

摘要：

[目的/意义]在新时代人民日报分词语料库的基础上构建的深度学习自动分词模型,不仅有助于为高性能分词模型的构建提供经验,也可以借助具体的自然语言处理研究任务验证深度学习相应模型的性能.[方法/过程]在介绍双向长短时记忆模型(Bi-LSTM)和双向长短时记忆与条件随机场融合模型(Bi-LSTM-CRF)的基础上,阐明汉语分词语料预处理、评价指标和参数与硬件平台的过程、种类和情况,分别构建 Bi-LSTM和 Bi-LSTM-CRF汉语自动分词模型,并对模型的整体性能进行分析.[结果/结论]从精准率、召回率和调和平均值 3个指标上看,所构建的 Bi-LSTM和 Bi-LSTM-CRF汉语自动分词模型的整体性能相对较为合理.在具体性能上,Bi-LSTM分词模型优于Bi-LSTM-CRF分词模型,但这一差距非常细微.

关键词：新时代人民日报分词语料、语料库、自动分词、深度学习、Bi-LSTM、Bi-LSTM-CRF

所属期刊栏目：63

分类号：G255.1(图书馆学、图书馆事业)

在线出版日期：2020-03-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：5-12