基于爬虫和网站分类的主题信息源发现方法

摘要：

如何发现主题信息源是主题We b信息整合的前提.提出了一种主题信息源发现方法,将主题信息源发现转化为网站主题分类问题,并利用站外链接发现新的信息源.从网站中提取出能反映网站主题的内容特征词和结构特征词,建立描述网站主题的改进的向量空间模型.以该模型为基础,通过类中心向量法与SVM相结合对网站主题进行分类.提出一种能尽量少爬取网页的网络搜索策略,在发现站外链接的同时爬取最能代表网站主题的页面.将该主题信息源发现方法应用于林业商务信息源,通过实验验证了该方法的有效性.

关键词：网站主题、特征描述、分类、爬虫、信息源发现

所属期刊栏目：52

分类号：TP391(计算技术、计算机技术)

资助基金：中央高校基本科研业务费专项基金资助项目BLYX200928

在线出版日期：2016-03-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：59-65