中文分词技术研究综述

摘要：

[目的]梳理中文分词领域的关键问题、算法和模型,为研究人员提供理论基础和实践指导.[文献范围]使用知网数据库、万方数据知识服务平台和计算机科学文献库DBLP检索中文分词相关文献,共选择109篇代表性文献进行综述.[方法]归纳中文分词的发展历程及关键问题,分类总结中文分词的算法和模型,并详述近期的热点研究问题.[结果]使用多个标注数据集的多准则分词模型是中文分词的研究难点,解决中文分词和自然语言处理其他子任务的多任务联合模型是当前研究的热点.[局限]没有深入对比分析中文分词的无监督学习方法.[结论]虽然现有的中文分词方法能在一定程度上满足诸多应用的需求,但是在大数据环境下多视角、多任务和多准则的联合模型研究仍存在挑战.

关键词：中文分词、分词算法、多准则学习、联合模型

所属期刊栏目：4

分类号：TP393(计算技术、计算机技术)

资助基金：本文系国家自然科学基金项目“电子病历挖掘中的聚类模型与算法研究”;揭阳市科技计划项目“大数据驱动的中药材产业发展决策支持系统”

在线出版日期：2020-06-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共17页

页码：1-17