基于Hadoop的分布式网络爬虫技术的设计与实现

摘要：

随着互联网行业和信息技术的发展，Google、IBM和Apache等大型公司纷纷投入去发展云计算，其中Apache开发的Hadoop平台是一个对用户极为友好的开源云计算框架。该文就是要基于Hadoop框架去设计和实现分布式网络爬虫技术，以完成大规模数据的采集，其中采用Map/Reduce分布式计算框架和分布式文件系统，来解决单机爬虫效率低、可扩展性差等问题，提高网页数据爬取速度并扩大爬取的规模。

关键词：云计算、分布式网络爬虫、Hadoop

分类号：TP393(计算技术、计算机技术)

在线出版日期：2015-05-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：36-38