基于MapReduce的微博文本采集平台

摘要：

微博不仅数据量大,而且实时性高,采用传统的Web文本爬取方式,很难在短时间内获取足量的微博.为了解决研究微博数据面临的数据采集问题,提出了基于MapReduce的微博数据采集平台,将整个微博抓取系统部署在hadoop平台上,充分利用hadoop分布式框架的特点,实现多节点同时抓取微博,很大程度上提高了抓取速率；并就微博采集过程中因输入数据过小导致hadoop不能有效均衡负载的问题,提出了采用多个小文件的输入方式,有效地解决了负载不均衡的问题.最后以Sina微博为例进行结,结果表明,该系统成本低、扩展性好、效率高,可广泛应用于基于微博数据的舆情分析以及传播学和虚拟社会学等方面的研究,并作为其基础数据采集平台.

关键词：Hadoop、MapReduce、微博、数据采集、Sina

所属期刊栏目：39

分类号：TP311(计算技术、计算机技术)

资助基金：国家十二五科技支撑计划课题2011BAK08B04

在线出版日期：2013-01-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：143-145