基于Bloom Filter的大规模网页去重策略研究

摘要：

针对大规模信息采集,运用Bloom Filter及其改进算法,在误差允许的条件下,通过URL散列运算可以有效地对同源网页进行去重.实践证明,通过对其参数进行合理的调整,可以达到满意的结果.

关键词：布隆过滤器、散列函数、URL、网页去重

分类号：TP391.3(计算技术、计算机技术)

在线出版日期：2008-09-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：45-50