面向多用户环境的MapReduce集群调度算法研究

摘要：

针对MapReduce集群现有调度策略在多用户环境下无法根据用户的实际资源需求实现动态资源分配的问题,提出了一种基于历史执行信息(HEI)的MapReduce集群调度算法——HEI Scheduler.该算法通过建立集群作业执行信息的收集和分析机制,得到各用户组资源需求随时间变化的规律,并以作业实际占用slot的时间作为作业占用资源量的衡量标准,进而动态地确定资源池的最小共享资源以及集群剩余资源分配的权值.实验结果表明,执行信息分析机制能够更准确地表征作业对资源的需求,采用集群调度算法HEI Scheduler能够有效地缩短作业的整体执行时间.

关键词：MapReduce集群、多用户环境、调度算法、作业执行信息收集

所属期刊栏目：27

分类号：TP3;TN0

资助基金：国家科技支撑计划2012BAH46B03;国家自然科学基金61402473;核高基2013ZX01039-002-001-001;中国科学院先导专项XDA06030200

在线出版日期：2017-08-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：295-302