大数据处理框架中基于MDP的任务调度算法

摘要：

针对大数据处理框架MapReduce中的任务调度问题,提出一种基于Markov决策过程(Markov Decision Process,MDP)的任务调度算法,通过状态集来描述集群中节点的负载和作业的数据本地性需求,使用状态转移函数表示调度策略对状态的影响,采用值迭代求解算法求取最优策略,实现集群中节点的最优调度.实验结果表明,该算法能够保证数据本地性的同时,减少作业响应时间,提高系统综合性能.

关键词：大数据、MapReduce、Markov决策过程、任务调度

所属期刊栏目：13

分类号：TP309(计算技术、计算机技术)

资助基金：项目来源:广东省自然科学基金项目S2011040004769;深圳市科技研发资金项目JCYJ20120617134831736

在线出版日期：2014-03-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：7-10