领域相关的Web网站抓取方法

摘要：

本文提出了一种抓取领域相关的Web站点的方法,可以在较小的代价下准确地收集用户所关心领域内的网站.这种方法主要改进了传统的聚焦爬虫(Focused Crawler)技术,首先利用Meta-Search技术来改进传统Crawler的通过链接分析来抓取网页的方法,而后利用启发式搜索大大降低了搜索代价,通过引入一种评价领域相关性的打分方法,达到了较好的准确率.本文详细地描述了上述算法并通过详细的实验验证了算法的效率和效果.

关键词：Meta-Search、聚焦爬虫(Focused Crawler)、启发式搜索

所属期刊栏目：34

分类号：TP3(计算技术、计算机技术)

资助基金：国家自然科学基金重大国际台作项目2004-2006;60520130299

在线出版日期：2007-04-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：137-140,148