中文搜索引擎中的分词技术研究

摘要：

分词模块是中文搜索引擎的一个重要组成部分,针对分词提出了一种最短路径与共首字歧义词概率的比较相结合的方法,首先寻找最短路径.如果最短路径不只一条,就比较共首字歧义词概率,选择概率较大的一条路径,效果非常明显.对未登录词识别提出了一种改进的移动窗口算法,在单字序列中移动窗口,并记录状态来寻找新词,能够识别大部分的未登录词.

关键词：中文分词、未登录词识别、最短路径、共首字歧义词概率、窗口移动法

所属期刊栏目：8

分类号：TP391.3(计算技术、计算机技术)

在线出版日期：2008-07-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：2481-2483,2506