基于NCrawler的网络爬虫设计及其应用探讨

摘要：

网络爬虫技术经过多年的发展,传统的应用和分析相对成熟,但是随着大数据、移动互联网时代的到来,在大规模、海量异构、隐蔽信息的实时快速采集和获取方面,仍然存在诸多的困难.本文对网络爬虫的技术原理进行分析,开发了基于NCrawler的网络爬虫软件并进行应用,可依据关键词灵活在网页深度、广度搜索两种搜索策略中调整权重,具有广泛的扩展能力,支持各种类型及格式资源的爬取.最后本文对网络爬虫技术的应用领域和趋势进行了分析和展望.

关键词：网络爬虫、NCrawler、网络爬虫设计、网络爬虫应用

分类号：TP3;G40

资助基金：张江专项发展资金201501-PD-LJZ-C104-004

在线出版日期：2016-10-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：31-35