广域网分布式爬虫中的Agent协同与Web划分研究

摘要：

针对广域网环境下分布式Web爬虫的Agent协同和Web划分两个核心问题进行深入研究,提出了基于顾问服务的分布式Web爬虫系统模型,给出了详细的系统设计方案及Agent协同算法框架,并通过推导证明了顾问服务参与Agent协同能够使分布式爬虫系统承受相对较小的网络负载.提出了分布式Web爬虫Web划分的概念,围绕Web划分单元选取及Web划分策略,对Web划分的分类和实现进行了详细的讨论,并通过实验对多种Web划分方法进行了对比和评价,验证了广域网系统相对于局域网系统的优势,并发现运营商互连因素对爬虫系统性能的影响大于地理位置因素的影响.

关键词：分布式Web爬虫、Agent协同、Web划分、顾问服务

所属期刊栏目：20

分类号：TP3;TN9

资助基金：863计划2009AA01Z437;973计划G2005CB321806;国家自然科学基金60703014;高等学校博士学科点专项科研基金20070213044;哈尔滨工业大学优秀青年教师培养计划HITQNJS.2007.034

在线出版日期：2010-05-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：239-245