一种基于特征向量的改进DSC网页去重算法

摘要：

网页去重具有很重要的实际意义,也是信息检索领域近几年研究的热点.分析现有的网页去重算法,并对经典的DSC(digital syntactic clustering)网页去重算法进行改进.为每篇文档生成一个特征向量集合,用该特征向量集合筛选shingles;然后进行相似性比较.实验表明,该算法对重复网页判定具有很好的准确率和召回率.

关键词：搜索引擎、网页去重、特征项、shingle

所属期刊栏目：13

分类号：TP391.3(计算技术、计算机技术)

资助基金：国家自然科学基金60970022

在线出版日期：2013-05-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：2250-2253