一种面向异构大数据计算框架的监控及调度服务

摘要：

各种类型的大数据计算框架存在各自专用的管理方法.传统的监控和调度服务在异构环境下的操作由于无法获取集群整体的运行状态而受到限制,且无法综合多粒度的运行时资源状态来调度不同的计算作业.这不仅浪费了集群的可用资源,而且增加了计算作业的等待时间.针对上述两个问题,提出了一种面向异构大数据计算框架的一体化监控及动态调度管理服务.该服务可以自动适应并监控多种类型的大数据计算框架及计算作业,并对多类型作业提供一体化调度.针对Hadoop和Storm两种计算框架,实现了原型系统并进行了实验.实验结果表明,所提服务在异构环境下的大数据计算框架中能降低人工操作的复杂度,并且能提高作业的调度效率.

关键词：作业调度、集群监控、管理服务、作业提交

所属期刊栏目：45

分类号：TP315(计算技术、计算机技术)

资助基金：国家自然科学基金61702014;北京市自然科学基金4172018

在线出版日期：2018-08-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：67-71,95