支持多语言的自然语言倒序分词最大成词算法

摘要：

提出一种支持多语言的分词算法,该算法可以按照以下层次来理解:首先,对不同编码的源词库文件编码转换,生成Unicode编码的源词库文件;然后,用Unicode编码的词库文件生成Unicode词库索引;最后,将待分词的自然语句转换成Unicode编码的语句并按照索引倒序分词.该算法已经用C++语言实现,基于此算法实现的分析系统能够自动探测词库的更新并确定是否需要更新索引,能够支持多种编码方式,其编码转换和分词代码与平台无关,分词效率在9 MB/s以上,正确率在90%以上.

关键词：多语言、索引树、倒序分词、最大成词算法

所属期刊栏目：7

分类号：TP391(计算技术、计算机技术)

在线出版日期：2007-09-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：4311-4315