基于MLE的未知文本内容预测模型优化

摘要：

未知文本内容预测是信息检索系统的重要功能,它通过文本化、分词、建模和预测四个步骤实现.其基本语言模型采用基于最大似然估计(MLE)的概率分布方法,在实际应用中,该方法存在着效率和有效性不足的问题,影响预测的精度.通过对传统方法的分析,发现传统模型中影响系统效率和有效性的主要原因是未知词丢失、条件概率忽略以及合理未知词组零概率等问题,针对这些问题给出了引入未知词项、高阶模型和平滑处理等优化策略,导出了优化模型,并标出了影响系统性能的其他因素和下一步努力的方向.

关键词：信息检索、MLE、内容预测、高阶模型、平滑处理

所属期刊栏目：27

分类号：O211.67(概率论与数理统计)

资助基金：安徽省高校教学质量与教学改革工程项目省级精品课程——网页设计与制作皖教高[2009]9号26;安徽省高等学校省级示范实验实训中心——计算机应用中心皖教高[2008]4号37

在线出版日期：2013-06-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：21-25