分布式Web信息采集系统的设计与实现

摘要：

Web信息的急剧增长,给信息的有效使用带来了巨大挑战.作为搜索引擎的重要组成部分,Web信息采集扮演着越来越重要的角色.文中从并行性、负载均衡、体系结构以及可扩展性这4个方面详细讨论了分布式Web信息采集系统的设计与实现.经验证,该分布式Web信息采集系统能够实现负载均衡,并具有良好的可扩展性.

关键词：分布式系统、Web信息采集、搜索引擎、信息处理

所属期刊栏目：15

分类号：TP315(计算技术、计算机技术)

在线出版日期：2010-05-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：116-119,123