基于列存储的MapReduce分布式Hash连接算法

摘要：

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化的特点.传统关系型数据库在对大数据进行操作时存在系统性能严重下降、计算效率提升有限以及可扩展性差等问题,因此引入 MapRe-duce并行计算模型,提出一种大数据上基于列存储的 MapReduce 分布式 Hash 连接算法.首先,设计面向大数据的分布式计算模型,在设计的分片聚集并行连接的基础上,利用 Hash连接以及动态探测方法优化了数据并行连接处理效率;然后,针对该算法开发了基于 Hadoop的原型系统.通过实验证明,在大数据分析处理中,所提算法在执行时间和负载能力上都有很好的性能表现,也能提供良好的可扩展性.

关键词：大数据、列存储、Hash连接、MapReduce、并行计算

所属期刊栏目：45

分类号：TP311(计算技术、计算机技术)

资助基金：浙江省哲学社会科学规划课题基金17NDJC179YB

在线出版日期：2018-08-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：471-475,505