一种针对关系数据库记录的相似重复记录检测算法

摘要：

在大数据处理分析中,需要对数据记录进行相似重复记录检测并消除,可以提高数据记录的质量.邻近排序算法(SNM算法)是对数据库所有记录进行排序比对,新记录和旧记录都需要比对,而旧记录的相互比是已经做过的,这就造成了一定的计算浪费.在考虑尽量减少这种计算浪费的基础上,提出了一种针对关系数据库记录的相似重复记录检测算法,算法首先创建记录属性关系表,设定属性的相应权重和相似度阈值,通过属性关系表计算记录和其他记录的相似度,从而完成对相似重复记录的检测.实验表明新的算法的效率比SNM算法有一定提高.

关键词：相似重复记录、snm算法、检测

所属期刊栏目：14

分类号：TP301(计算技术、计算机技术)

在线出版日期：2018-07-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：25-28