基于统计学习框架的中文新词检测方法

摘要：

新词自动检测是中文信息处理的重要基础,但中文字符极强的构词能力给新词检测带来了巨大困难.提出一种新词检测的形式化描述模型,用以建立特征和新词检测结果之间的统计联系.在此基础上提出应用统计学习模型作为框架来整合不同类型的可用特征,以充分发挥特征之间的组合作用,进一步改善新词检测效果.实验表明,统计框架方法的性能明显地优于特征的简单叠加,能有效提高新词检测效果,开放实验和封闭实验的F值分别为49.72％和69.83％,达到了目前的较好水平.

关键词：统计框架、新词检测、重复模式、语言知识特征、统计特征

所属期刊栏目：39

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61163045;新疆师范大学博士博士后科研启动基金XJNUBS1111

在线出版日期：2012-04-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：232-235