基于SVM的主题爬虫技术研究

摘要：

随着互联网的快速发展,网络信息呈现海量和多元化的趋势.如何为互联网用户快速、准确地提取其所需信息,已成为搜索引擎面临的首要问题.传统的通用搜索引擎虽然能够在较大的信息范围内获取目标,但在某些特定领域无法给用户提供专业而深入的信息.提出基于SVM分类的主题爬虫技术,其将基于文字内容和部分链接信息的主题相关度预测算法、SVM分类算法和HITS算法相结合,解决了特定信息检索的难题.实验结果表明,使用基于SVM分类算法的爬取策略,能够较好地区分主题相关网页和不相关网页,提高了主题相关网页的收获率和召回率,进而提高了搜索引擎的检索效率.

关键词：SVM、主题爬虫、爬取策略、HITS

所属期刊栏目：42

分类号：TP302.1(计算技术、计算机技术)

在线出版日期：2015-04-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：118-122