基于版权信息的新闻网页去重策略研究

摘要：

随着网络技术的迅速发展和互联网络规模的不断扩大,人们能够获得的新闻信息资源也日益丰富.应用搜索引擎进行检索,经常会得到内容相同或相近的新闻网页,它们不但浪费了存储资源,而且加重了用户检索和阅读的负担.网页去重处理是提高搜索引擎的关键技术之一,因此,发现并去除重复网页信息的研究工作具有重要意义.文中提出了一种基于版权信息的新闻网页去重算法,其主要思想是:应用转载的新闻网页大多会标出其来源这一特征,并结合网页文本内容进行新闻网页去重.实验结果表明:该方法有效,对新闻网页实现较好的去重,能够得到较高的正确率及召回率,具有很好的应用价值.

关键词：网页去重、搜索引擎、版权、新闻网页、模糊匹配

所属期刊栏目：8

分类号：TP311(计算技术、计算机技术)

在线出版日期：2013-03-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：6211-6214,6227