基于标签路径特征融合的在线Web新闻内容抽取

摘要：

精准地抽取新闻网页的内容,是提高Web新闻分析等应用系统工作质量的关键技术之一.由于缺少Web新闻出版的标准,存在大量不同的出版格式,并且Web本身是一种具有高度异构性的大数据载体,导致Web新闻内容抽取成为一个开放性问题.经大量实例分析发现新闻网页内容与其上的标签路径存在潜在的关联性.因此,设计了标签路径特征系,以从不同视角区分网页内容和噪音.在特征相似性分析的基础上,提出了一种基于组合特征选择的特征融合策略,并设计了基于融合特征的Web新闻内容抽取方法CEPE.CEPF是一种快速的通用、无需训练的在线Web新闻内容抽取算法,可抽取多种来源、多种风格、多种语言的Web新闻网页.在CleanEval等测试数据集上的实验结果表明,CEPF方法优于CETR等抽取方法.

关键词：内容抽取、Web新闻、标签路径特征、组合特征选择、特征融合

所属期刊栏目：27

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61273297,61229301,61273292;教育部创新团队发展计划IRT13059;国家重点基础研究发展计划9732013CB329604;国家高技术研究发展计划8632012AA011005National Natural Science Foundation of China61273297,61229301,61273292;The Program for Changjiang Scholars and Innovative Research Team in University PCSIRT of the Ministry of EducationIRT13059;National Program on Key Basic ResearchProject of China 973 Program2013CB329604;National High-Tech R&D Program of China 863 Program2012AA011005

在线出版日期：2016-08-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共22页

页码：714-735