基于FFT的网页正文提取算法研究与实现

摘要：

主要研究"正文式"网页的有效信息提取算法.该种底层网页真正含有Web页面所表达的主题信息,通常包含一大段的正文信息,正文信息的前后是一些格式信息(例如导航信息、交互信息、JavaScript脚本等).分析了此种网页的页面结构特征,将问题转化为--给定一个底层网页的HTML源文件,求解最佳的正文区间;从而提出了一种基于快速傅立叶变换的网页正文内容提取算法.采用窗口分段的方法,利用统计学原理和FFF,得出每个可能区间的权值,从而求解出最佳正文区间.实验结果表明,此种方法能比较准确的对"正文式"网页的有效信息进行提取.

关键词：中文信息处理、Web页面、信息提取、页面结构、FFT、区域分割

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

资助基金：国家发改委CNGI示范工程项目CNGI-04-15-2A

在线出版日期：2007-12-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：148-151