面向海量高维数据的文本主题发现

摘要：

针对潜在语义分析( LSA： Latent Semantic Analysis)方法在海量高维数据中的制约，提出K均值聚类的LSA方法( KLSA)：通过利用K均值聚类对主题词进行预处理，将主题词降到相对低维空间后再使用LSA方法；选取新浪微博文本数据作为具体研究对象，通过实验证明了所提出的方法能够在确保模型分类效果条件下，很好地满足海量高维数据对LSA方法计算速度的敏感要求。

关键词：海量数据、高维数据、LSA、K均值聚类

分类号：G350.7(情报学、情报工作)

资助基金：国家哲学社会科学基金“基于大数据技术的微博问政话题挖掘研究”13BTJ005;中央高校基本科研业务费专项资金资助“大数据技术在网络问政话题中的应用研究”2015GD04;华南理工大学“探索性实验”教学项目“经管类数据挖掘实验课的探索性实验研究”Y1150420。

在线出版日期：2015-12-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：162-167