基于PUSH机制的任务调度方法

摘要：

为降低Hadoop MapReduce环境中任务的数据访问延时进而提高系统性能，提出一种基于PUSH机制的任务调度方法。该方法根据输入数据分布，主动将任务推送到存储其输入数据的节点。当任务在这些节点执行时，可以直接从本地磁盘读取数据，从而避免远程数据访问延时。该方法已在hadoop-0.20.2中实现，并在真实集群中进行验证。研究结果表明：与原有调度方式相比，该方法可将作业执行时间平均降低8%，在最好情况下可降低14.3%。

关键词：数据局部性、性能优化、任务调度、MapReduce

所属期刊栏目：47

分类号：TP315(计算技术、计算机技术)

资助基金：国家自然科学基金面上资助项目51274088；河南省教育厅项目ITE12103；河南理工大学矿山信息化省级重点实验室项目KY2012-05；河南理工大学博士基金资助项目B2012-099；河南省科技攻关项目142102210435Project51274088 supported by the National Natural Science Foundation of China;ProjectITE12103 supported by the Foundation of Henan Educational Committee;ProjectKY2012-05 supported by the Foundation of Provincial Open Laboratory of Mine Informatization Key Discipline;ProjectB2012-099 supported by the PhD Foundation of Henan Polytechnic University;Project142102210435 supported by the Programs for Science and Technology Development of Henan Province

在线出版日期：2016-09-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：2334-2340