基于MapReduce的混合连接算法

摘要：

运行在Hadoop上的数据仓库Hive可以让更多的用户通过SQL接口来处理Hadoop数据。然而,Hive却没有为连接操作提供有效的途径,而连接操作是一种常见且在Hadoop中非常费时的操作。为了解决连接操作在Hadoop中性能的问题,本文提出一种混合策略的连接算法HJ-A,根据当前应用场景在几种连接算法之间选择相对较合适的算法,实验结果表明,HJ-A可以在大多数的Hadoop场景中发挥很好的性能。

关键词：MapReduce、Hadoop、分区连接、auto-tunning、Hive

分类号：TP391(计算技术、计算机技术)

在线出版日期：2015-07-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：86-91