一种改进的面向VLDB数据质量处理算法

摘要：

数据质量问题是企业在构建商务智能系统中遇到的最重要的问题之一,在处理面向VLDB数据质量的时候,对模糊重复记录的识别和整合非常困难.文章中提出了一种改进的面向VLDB数据质量处理算法,即先通过基于聚类的N-gram 改进算法来检测相似重复记录,采用pair-wisc 来计算相似重复度,用一个固定大小的优先队列窗口来聚类相似重复记录,同时引入转换关闭准则生成一种多路聚类方法,提高聚类的准确度.本文的算法在语言识别和关键字检测方面获得高于90%的准确率.

关键词：数据质量、聚类、多通道方法

分类号：TP311(计算技术、计算机技术)

在线出版日期：2009-05-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：43-45