基于LDA高频词扩展的中文短文本分类

摘要：

针对短文本特征稀疏、噪声大等特点,提出一种基于LDA高频词扩展的方法,通过抽取每个类别的高频词作为向量空间模型的特征空间,用TF-IDF方法将短文本表示成向量,再利用LDA得到每个文本的隐主题特征,将概率大于某一阈值的隐主题对应的高频词扩展到文本中,以降低短文本的噪声和稀疏性影响.实验证明,这种方法的分类性能高于常规分类方法.

关键词：短文本分类、高频词、LDA、特征扩展

分类号：TP391(计算技术、计算机技术)

资助基金：国家863计划基金项目"农产品全供应链多源信息感知技术与产品开发"项目2012AA101701-03的研究成果之一

在线出版日期：2013-08-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：42-48