共享集群基于HDFS的数据块密度调度策略

摘要：

随着云计算技术和海量数据处理技术的发展,共享集群逐渐采用HDFS作为分布式文件系统并通过虚拟化的方式管理计算资源,为计算框架和应用提供运行资源,造成应用运行过程中计算资源和数据存储的分离.海量数据处理应用的数据本地性是影响其性能的关键因素之一.目前,共享集群管理框架调度器的研究主要集中在通过提升调度的并行度来提高系统的吞吐量和资源利用率,而其在调度的质量方面还存在一些缺陷,如应用的数据本地性问题.提出基于数据块密度的调度策略,来提高应用的数据本地性,根据数据块的密度为应用等比例分配计算资源,减少应用运行过程中的跨主机I/O,从而提升应用的性能.实验表明,基于数据块密度的调度策略能够有效减少数据密集型作业的运行时间,该策略能够使应用达到90％的数据本地性.在测试应用WordCount和TeraSort中,该策略使应用缩短了20％左右的运行时间.

关键词：HDFS、数据块密度、共享集群、调度策略

所属期刊栏目：44

分类号：TP392(计算技术、计算机技术)

在线出版日期：2018-01-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：510-515