减少Hadoop集群中网络队头阻塞的调度算法

摘要：

大数据分析系统的用户希望任务的执行时间尽可能短.然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈.通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务.基于上述观察,设计并实现了全新的任务调度系统Duopoly,其由感知计算资源的网络调度器cans与感知网络资源的子任务调度器nats两部分组成.通过小规模物理集群与大规模仿真实验对Duopoly的效果进行评估,实验结果表明,与现有工作相比,Duopoly可以将平均任务完成时间缩短37.30％～76.16％.

关键词：Hadoop集群;队头阻塞;网络调度;任务调度

所属期刊栏目：49

分类号：TP393(计算技术、计算机技术)

资助基金：广东省重点研发计划;国家自然科学基金;国家自然科学基金;国家自然科学基金

在线出版日期：2022-03-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：11-22