基于标签样式和密度模型的网页正文自动抽取

摘要：

”目的/意义”为给数字出版知识服务系统提供高质量的文本语料以供知识抽取,本文提出了基于标签样式和密度模型来抽取网页正文的方法.”方法/过程”该方法先根据标签样式将网页文本进行分块,再根据各块文本内容的文本密度、标点密度、非超链接密度计算出综合密度,最后通过阈值判断抽取出网页中信息含量高的正文.”结果/结论”该方法简单高效无需人工编写规则或训练,能完整地抽取出网页正文.通过随机选取新闻网页进行实验,结果表明该方法能有效地自动抽取网页正文,适用于不同设计风格的网站,而且准确率和召回率优于基于统计的CEPR抽取方法.

关键词：正文抽取、标签样式、密度模型、网页分块、信息抽取

所属期刊栏目：36

分类号：TP391.1(计算技术、计算机技术)

资助基金：河南省科技开放合作计划152106000049;河南省科技攻关项目162102210246

在线出版日期：2018-09-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：123-129