基于子树相似度计算的网页评论提取算法研究

摘要：

将网页评论的识别与自动提取转化为DOM树结构中的子树循环体识别问题,提出一种基于网页DOM子树相似度计算的方法,从网页中< BODY>节点向下逐层遍历识别出满足约定条件的评论块节点树.针对目前DOM树相似度计算算法在评论提取方面的性能不足,本算法同时考虑树节点的标签与位置信息构建叶节点路径,通过求解两个DOM子树的叶节点路径相似度矩阵得到两个子树的相似度.比较其他几种基于DOM相似度计算方法和一种基于标签权重的网页评论提取方法在性能和效率上的差异.实验表明,基于本算法的网页评论提取方法具有较高的查准率和查全率,总体优于现有网页评论提取方法.

关键词：DOM树、子树相似度、评论提取

分类号：TP393(计算技术、计算机技术)

资助基金：教育部人文社会科学研究青年基金项目“基于信息生态学的网络舆情管理机制与平台研究”10YJC870053;江苏高校哲学社会科学研究重点项目“涉农网络舆情的政府监管研究”项目2011ZDIXM027的研究成果之一

在线出版日期：2013-12-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：52-59