MapReduce上基于抽样的数据划分最优化研究

摘要：

MapReduce是一个目前应用广泛的并行计算框架,如何解决Reduce节点的负载平衡问题是MapReduce程序执行效率的一个重要研究方向.基于抽样的划分是一种比较有效的数据划分方法,为了使得抽样方法发挥最大程度的效益,研究了抽样效果与其重要影响因素之间的定量关系,并给出了相关理论及其证明推导,同时通过实验进一步验证了理论的正确性.基于研究的结果,可以在给定MapReduce环境中,通过分析数据特征,找到最优抽样样本规模,从而通过尽可能小的抽样代价来得到满足要求的数据划分.通过将研究成果应用在改进的Terasort算法上,以实例验证了其在MapRedece平台上的实际意义.

关键词：抽样、MapReduce框架、数据倾斜、负载平衡、数据集划分

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

在线出版日期：2014-05-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：77-84