文本分类中词语权重计算方法的改进与应用

摘要：

文本的形式化表示一直是信息检索领域关注的基础性问题.向量空间模型(Vector Space Model)中的tf.idf文本表示是该领域里得到广泛应用,并且取得较好效果的一种文本表示方法.词语在文本集合中的分布比例量上的差异是决定词语表达文本内容的重要因素之一.但是其IDF的计算,并没有考虑到特征项在类间的分布情况,也没有考虑到在类内分布相对均匀的特征项的权重应该比分布不均匀的要高,应该赋予其较高的权重.用改进的TFIDF选择特征词条、用KNN分类算法和遗传算法训练分类器来验证其有效性,实验表明改进的策略是可行的.

关键词：文本表示、向量空间模型、特征选择、TFIDF

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

资助基金：重庆市自然科学基金CSTC2006BB2021

在线出版日期：2008-05-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：187-189