基于字位信息的中文分词方法研究

摘要：

分析中文自动分词的现状,介绍和描述几种不同的分词思想和方法,提出一种基于字位的分词方法.此分词方法以字为最小单位,根据字的概率分布得到组合成词的概率分布,因此在未登录词识别方面比其它方法有更优秀的表现.使用最大熵的机器学习方法来进行实现并通过两个实验得出实验结果的比较分析.

关键词：中文分词、字位、最大熵、未登录词识别

分类号：TP311;TP18(计算技术、计算机技术)

资助基金：中国科学技术信息研究所学科建设项目"语青技术与知识技术"2007DP01-8;国家科技支撑计划课题"多语言信息服务环境关键技术研究与应用"项目2006BAH03802的研究成果之一

在线出版日期：2008-10-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：39-43