一种优化的网络爬虫的设计与实现

摘要：

网络爬虫是搜索引擎的重要组成部分,它在搜索引擎中负责网络信息的采集.详细介绍了Web_Crawler,一种优化的网络爬虫的设计和实现,包括系统框架、主要模块、多线程工作和数据缓冲池的转存技术.Web-Crawler主要从多线程并行下载提高了速度,并利用数据缓冲池转存技术在实现快速检索的同时减少了存储空间需求这两方面来优化网络爬虫.

关键词：搜索引擎、信息采集、网络爬虫、数据缓冲池

所属期刊栏目：4

分类号：TP393(计算技术、计算机技术)

在线出版日期：2009-03-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共2页

页码：2082-2083