一种基于DAG的MapReduce任务调度算法

摘要：

Hadoop已成为研究云计算的基础平台,MapReduce是其大数据分布式处理的计算模型.针对异构集群下MapReduce数据分布、数据本地性、作业执行流程等问题,提出一种基于DAG的MapReduce调度算法.把集群中的节点按计算能力进行划分,将MapReduce作业转换成DAG模型,改进向上排序值计算方法,使其在异构集群中计算更精准、任务的优先级排序更合理.综合节点的计算能力与数据本地性及集群利用情况,选择合理的数据节点分配和执行任务,减少当前任务完成时间.实验表明,该算法能合理分布数据,有效提高数据本地性,减少通信开销,缩短整个作业集的调度长度,从而提高集群的利用率.

关键词：DAG、调度算法、MapReduce、Hadoop、异构环境、大数据

所属期刊栏目：41

分类号：TP302(计算技术、计算机技术)

在线出版日期：2014-08-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：42-46,51