消除规范关系连接冗余的二次排序算法研究

摘要：

使用MapReduce框架对规范的一对多关系实体进行连接操作时,一方实体的各个属性会在连接的结果中产生大量冗余.通过对二次排序算法进行优化,重新定义Map阶段的分区过程、Shuffle阶段的排序及分组过程,使得Map阶段的输出为包含一方实体属性值和多方实体排序值的组合键及包含多方实体属性值的集合.Reduce阶段将组合键进行分解,提取一方实体的主码作为HBase表的行健,并将组合键中一方实体的各个属性值及多方实体属性值集合分别写入HBase表中对应的列,从而既实现了连接的语义,又消除了冗余.实验证明,优化后的算法可以消除一方实体属性值在连接结果中的冗余,提高了对连接结果的查询效率.

关键词：MapReduce、连接冗余、二次排序、HBase

所属期刊栏目：39

分类号：TP311(计算技术、计算机技术)

在线出版日期：2017-11-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：508-513