MapReduce集群中最大收益问题的研究

摘要：

MapReduce是目前最为流行的用于大数据分析的并行系统之一.许多企业已经搭建了自己的MapReduce集群,为广大用户提供计算服务.用户可以向集群提交具有完成时限要求的MapReduce作业,若作业被按时完成,则企业可以获得一定的收益.针对这种应用场景,该文首次提出了MapReduce集群中的最大收益问题.为有效地解决该问题,首先提出了一种基于序列的任务调度策略(简称为SEQ策略),并证明了在处理具有完成时限约束的作业时SEQ策略存在优势.基于SEQ策略,该文提出了最大收益的调度算法(Scheduling Algorithm for Maximum Benefit,简称AMB算法),该算法可以快速地确定可接收作业,并给出有效的执行方案,以达到最大化收益的目的.另外,针对在实际应用中的某些异常情况(如节点宕机),该文也设计了有效的超时处理策略,进一步增加了算法的实用性.最后,通过大量的实验验证了该文所提出算法的有效性.

关键词：大数据、MapReduce集群、完成时限、最大收益问题

所属期刊栏目：38

分类号：TP391(计算技术、计算机技术)

资助基金：国家“九七三”重点基础研究发展规划项目基金2012CB316201;国家自然科学基金面上项目61033007;教育部博士点基金20120042110028;教育部-英特尔信息技术专项科研基金MOE-INTEL-2012-06;the National Basic Research 973 Program of China under Grant No.2012CB316201,the National Natural Science Foundation of China under Grant No.61033007,the National Research Foundation for the Doctoral Program of Higher Education of China under Grant No.20120042110028 and the MOE-Intel Special Fund of

在线出版日期：2015-04-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：109-121