基于支持向量机的网页正文内容提取方法

摘要：

针对网页的正文信息抽取,提出一种基于支持向量机(SVM)的正文信息抽取方法.该方法采取宽进严出的策略.第1步根据网页结构的规律遍历网页DOM树,定位到一个同时包含正文和噪音信息的HTML标签.第2步选择含噪音信息的HTML标签的5个重要特征,并采用SVM训练样本数据.SVM训练得出的数据模型可以有效去除导航、推广、版权等噪音信息,成功保留正文.将该方法应用于几大常用的网站,实验结果表明该方法具有较好的正文抽取效果和降噪效果,对于传统方法中经常误删的短文本、与正文相关的超链接等信息能够准确保留.

关键词：支持向量机、正文抽取、HTML标签、降噪、机器学习

分类号：TP391.1(计算技术、计算机技术)

资助基金：海洋科学与技术国家实验室鳌山科技创新计划项目2016ASKJ07, 2016ASKJ07-08

在线出版日期：2018-09-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：21-26,31