数据本地性感知的MapReduce负载均衡策略

摘要：

现有针对MapReduce的负载均衡调度的研究均未考虑中间数据的分布特点及网络传输的开销,导致额外的网络传输代价与系统效率的下降.为解决上述问题,提出了一种数据本地性感知的负载均衡策略.充分利用YARN中资源管理的新特性,在Map阶段对内存数据溢写的同时进行统计以获取数据分布,根据数据分布情况及各节点的计算能力进行任务调度,减少网络传输开销的同时尽量保证各节点的负载平衡.此外,通过引入细粒度分区与分区的自适应分裂策略,进一步提高在数据倾斜时调度策略的性能.对比实验结果表明,提出的负载均衡调度策略能有效提升性能,同时较好地降低网络总开销.

关键词：MapReduce、数据本地性、数据倾斜、负载均衡

所属期刊栏目：42

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金项目61373015,61300052;国家教育部高等学校博士学科点专项科研基金20103218110017;江苏高校优势学科建设工程资助项目;中央高校基本科研业务费专项项目NP2013307,NZ2013306

在线出版日期：2015-11-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：50-56