网页去重技术

摘要：

以去除冗余网页为目标,分析搜索引擎工作原理,讨论现有的去重算法,并提出基于Suffix Tree的倒排索引改进算法.实验表明该算法有着优秀的判断文档相似度的特性.最后对现有去重算法进行分析总结并提出网页去重新思路,以便进行下一步研究.

关键词：数据挖掘、搜索引擎、网页去重

分类号：TP393.092(计算技术、计算机技术)

在线出版日期：2009-04-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：71-75