二元语法中文分词数据平滑算法性能研究

摘要：

将多种平滑算法应用于基于二元语法的中文分词,在1998年1月人民日报语料库的基础上,讨论了困惑度和实际分词性能之间的关系,对比分析各平滑算法的实际性能,结果表明,简单的加值平滑算法性能最优,封闭精度、召回率分别为99.68%、99.7%,开放精度、召回率为98.64%、98.74%.

关键词：数据平滑、中文分词、二元语法

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金the National Natural Science Foundation of China under Grant 70521001

在线出版日期：2009-06-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：33-36