基于可视块的多记录型复杂网页信息提取算法

摘要：

网页具有丰富的内容和复杂多变的结构,现有的网页信息提取技术解决了单记录型简单页面的信息提取问题,但是对于多记录型复杂页面的信息提取效果往往不佳.文中提出了一种全新的基于可视块的复杂网页信息自动化提取算法(Visual Block Based Information Extraction,VBIE),通过启发式规则构建可视块与可视块树,然后通过区域聚焦、噪声过滤及可视块筛选,实现了对复杂网页中数据记录的提取.该方法摒弃了以往算法对网页结构的特定假设,无需对HTML文档进行任何人工标记,保留了网页的原始结构,且能够在单页面上实现无监督的信息提取.实验结果表明,VBIE的网页信息提取精确度最高可达100％,在主流搜索引擎的结果页面和社区论坛的帖子页面上的F1均值分别为98.5％ 和96.1％.相比目前方法中在复杂网页上提取效果较好的CMDR方法,VBIE的F1值提高了近16.3％,证明了该方法能够有效解决复杂网页的信息提取问题.

关键词：Web数据抽取、Web挖掘、数据记录提取、网页数据提取、结构化信息

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：浙江省自然科学基金LY17G030030 ,LGF18D010001 ,LGF18D010002

在线出版日期：2019-11-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：63-70