基于Hadoop微博热点话题挖掘系统的设计与实现

摘要：

为获得微博中的热点话题,本文设计并实现了一个基于Hadoop微博热点话题挖掘系统,包含数据采集、数据预处理、数据存储、热点话题挖掘四个子系统.面对庞大数据量,采用HDFS分布式存储;在TF-IDF算法的基础上做出了改进,本文提出影响度的概念;针对单节点数据处理的性能瓶颈,对改进后的TF-IDF算法和经典关联规则挖掘算法Apriori进行了MapReduce化设计.实验结果表明,该系统能高效率地采集微博数据,同时能够提取微博热点话题.并且当数据量变大,该系统较单节点有明显时间优势.

关键词：Hadoop、微博、热点话题挖掘、MapReduce、TF-IDF、Apriori

分类号：TP3;TG4

在线出版日期：2016-06-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：10-12,54