网络爬虫的优化策略探略

摘要：

网络爬虫对网页的抓取与优化策略直接影响到网页采集的广度、深度,以及网页预处理的数量和搜索引擎的质量.搜索引擎的设计应在充分考虑网页遍历策略的同时,还应加强对网络爬虫优化策略的研究.本文从主题、优先采集、不重复采集、网页重访、分布式抓取等方面提出了网络爬虫的五大优化策略,对网络爬虫的设计有一定的指导和启迪作用.

关键词：网络爬虫、优化策略、搜索引擎

所属期刊栏目：31

分类号：TP391(计算技术、计算机技术)

在线出版日期：2012-01-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：31-35