一种基于字词联合解码的中文分词方法

摘要：

近年来基于字的方法极大地提高了中文分词的性能,借助于优秀的学习算法,由字构词逐渐成为中文分词的主要技术路线.然而,基于字的方法虽然在发现未登录词方面有其优势,却往往在针对表内词的切分效果方面不及基于词的方法,而且还损失了一些词与词之间的信息以及词本身的信息.在此基础上,提出了一种结合基于字的条件随机场模型与基于词的Bi-gram语言模型的切分策略,实现了字词联合解码的中文分词方法,较好地发挥了两个模型的长处,能够有效地改善单一模型的性能,并在SIGHAN Bakeoff3的评测集上得到了验证,充分说明了合理的字词结合方法将有效地提高分词系统的性能,可以更好地应用于中文信息处理的各个方面.

关键词：中文分词、联合解码、语言模型、条件随机场模型

所属期刊栏目：20

分类号：TP301(计算技术、计算机技术)

资助基金：the National Natural Science Foundation of China under Grant No.60842005;the National High-Tech Research and Development Plan of China under Grant No.2006AA01Z148 国家高技术研究发展计划863;the Key Project of the Ministry of Education of China under Grant. No.207148

在线出版日期：2009-11-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：2366-2375