HDAS：异构集群上Hadoop＋框架中的动态亲和性调度

摘要：

针对现有异构集群的编程框架着重于异构资源的利用，没有充分考虑共享资源竞争导致作业完成时间延长的情况，基于Hadoop＋框架和异构任务模型，提出并实现了异构动态亲和性调度（ HDAS）算法，该算法利用Hadoop的心跳机制监测各结点上的资源使用情况和实时负载，对系统中的异构资源用不同的策略计算与任务的亲和性，进行任务分派，使系统的资源利用更充分，从而降低共享资源竞争导致的任务延迟，提高系统的整体吞吐率，且提交到系统中的应用都会在启动后一定时间内被执行。对25种混合负载的试验表明，Hadoop＋框架使用HDAS相对于Hadoop的实现可获得平均21.9 x的加速比，明显优于基于异构任务模型的调度策略（17.9x），并使其中21个负载的任务平均延迟不超过6％，在任务对系统资源需求多样性丰富的混合负载上优化效果明显。

关键词：MapReduce、异构、Hadoop+、亲和性、调度

所属期刊栏目：26

分类号：TP3;TN9

资助基金：973计划2011CB302504;863计划2012AA010902，2015AA011505;国家自然科学基金61202055，61221062，61303053，61432016，61402445资助项目。

在线出版日期：2016-10-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：333-343