一种基于MapReduce的大数据集相似自连接算法

摘要：

如何快速发现数据集中重复或相似的记录是大数据处理技术中的一个基本问题.相似连接是一种有效的相似数据查找方法,且基于MapReduce的相似连接算法因对大数据集的处理能力强而得到广泛关注.通过分析当前相似连接算法进行自连接时存在的自连接冗余、读取原字符串复杂等问题,在Mass join算法的基础上提出了一种改进的基于MapReduce的自连接算法.改进算法在过滤阶段增加了消除自身冗余的过滤条件,在验证阶段又采用了生成正反候选对和组合id等去冗余技术,并且读取原始字符串内容时只需读取数据集一次.实验数据显示,改进算法无论在过滤阶段还是在验证阶段都减少了算法的CPU时耗,结果表明所提改进策略是有效的.

关键词：相似连接、大数据、MapReduce、数据清洗

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

资助基金：教育部人文社会科学研究青年基金项目15YC870021,15YJC870028;辽宁省博士科研启动基金计划项目20141138;辽宁省教育厅科学研究项目L2015010,L2014451;辽宁省自然科学基金2015020009;国家自然科学基金青年基金项目61602056

在线出版日期：2017-06-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：20-25,32