基于N-Gram的文本去重方法研究

摘要：

中文文本去重是自然语言处理研究的一个重要方向.该文提出了一种基于N-Gram项和特征映射的文本去重方法.该方法提取N-Gram项的序列作为文本特征,将N-Gram项映射成哈希值,通过查找哈希值来判定文本是否重复.利用哈希数值查找代替字符串匹配,为实现快速的去重方法提供了一种新的可行的方法.实验表明,该算法对于普通网页文本去重能取得很好的效果.

关键词：文本去重、文本特征、特征映射、中文信息处理

所属期刊栏目：30

分类号：TP391(计算技术、计算机技术)

在线出版日期：2010-06-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：61-64