向量空间模型中特征加权的研究

摘要：

随着网络技术的迅猛发展,文本分类成为处理和组织大量文档数据的关键技术.常采用向量空间模型来表示文本,将文本看作特征空间的一个向量,使用TF·IDF方法对特征加权.但是这种加权方法简单地认为文本频数少的单词就重要,文本频数多的单词就不重要,使它不可能很好地反映单词的有用程度,从而导致分类准确率下降.针对TF·IDF方法存在的问题,提出了一种基于特征基尼指数的特征加权方法TF·GINI.实验结果显示,这种加权方法具有很好的分类性能.

关键词：文本分类、特征选择、基尼指数、特征加权、向量空间模型

所属期刊栏目：27

分类号：G35(情报学、情报工作)

资助基金：国家自然科学基金60673089

在线出版日期：2008-05-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：5-7,10