面向Web新闻与博客的内容提取方法

摘要：

Web深刻地改变了社会生活,新闻和博客网站作为其中代表性的消息来源,为人们提供了方便的信息获取方式.在Web分析的实际业务中,广告、文章推荐等无关信息的存在,给新闻和博客网页中主要内容的提取带来了负面影响.本文提出了一种区别于抽取模板的新闻和博客内容提取方法CEVC,通过定义有效字符,对网页内容文件的DOM树进行递归计算,确定最具代表性的子节点作为主要内容节点.实验选取了中文与英文网页作为数据集,定义了提取新闻和博客内容的性能指标.对比实验的结果表明,CEVC在Web内容提取方面的性能优于现有方法.

关键词：Web分析、内容提取、DOM树

所属期刊栏目：10

分类号：TP311(计算技术、计算机技术)

资助基金：国家重点研发计划;国家重点研发计划;国家自然科学基金;国家自然科学基金;四川省科技计划

在线出版日期：2021-06-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1-4,10