改进的Hadoop作业调度算法

摘要：

分布式集群普遍存在负载均衡问题,而Hadoop没有考虑到节点间性能的差异.虽然有负载均衡机制,但是效果不太理想,因此运行过程中经常会出现负载不均衡的情况.针对如上问题,深入分析了Hadoop源代码,理清了Hadoop的运行原理,在Hadoop资源管理机制Yarn中改进了Hadoop任务的排序,建立了新的任务排序规则,提出了对各节点性能评价的指标,分为动态性能指标和静态性能指标.在此基础上对Yarn的FairScheduler算法进行了改进,形成了考虑节点性能的调度算法.重新对Hadoop源码进行了编译,在所搭建的Hadoop平台上进行了对比实验,证明了加入节点性能指标有效解决了Hadoop负载均衡问题,对Hadoop的运行效率有了很大提高.

关键词：大数据、Hadoop、Yarn、负载均衡、FairScheduler算法

所属期刊栏目：53

分类号：TP302.7(计算技术、计算机技术)

资助基金：国家自然科学基金委员会与中国民用航空局联合基金项目U1233113;国家自然科学基金61301245, 61201414

在线出版日期：2017-07-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：85-91