一种优化MapReduce系统能耗的任务分发算法

于戈宋杰徐澍郭朝鹏鲍玉斌

东北大学;

摘要：

MapReduce是一种典型的分布式计算模型,一经提出就被迅速应用到大数据处理系统中.文中认为MapReduce系统在能耗方面存在优化空间.对于一个分布式并行计算系统,任务的并行性对任务执行性能影响显著,并行性保证方法在优化性能的前提下还应该考虑系统能耗.在MapReduce系统中,传统的Map任务分发算法采用"小任务多次分发的策略",这种策略虽然保证了并行性,但会浪费节点的处理能力,消耗额外的能量;而Reduce任务分发算法尚不能保证Reduce任务间的并行性.文中提出通过动态地调整Map任务和Reduce任务大小,也即任务处理数据量的规模来保证任务并行性,降低MapReduce系统的整体能耗.文中…展开v

关键词：MapReduce、能耗、能耗优化、任务分发、并行性、云计算、大数据

所属期刊栏目：39

分类号：TP311(计算技术、计算机技术)

资助基金：This work is mainly supported by the National Natural Science Foundation of China61202088;named as "Research on Energy-Consumption Optimization Approaches for Cloud Database Systems".The project aims to study an optimization approach of "reducing idle power consumption by reducing node's waiting" in cloud database system;this paper focuses on the " Energy-Consumption Optimized Computing Framework System" part of the project.This work is also supported by the Fundamental Research Funds for the Central Universities of ChinaN100704001;the Research Funds of China Post Doctor No.2013M540232.本课题得到国家自然科学基金61433008,61202088,61272179,61173028;教育部博士点基金20120042110028;教育部-英特尔信息技术专项科研基金MOE-INTEL-2012-06;中央高校基本科研业务费专项资金N130417001;中国博士后科学基金面上项目2013M540232;辽宁省博士启动基金201403314

在线出版日期：2016-06-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：323-338