数据流计算环境下的集群资源管理技术

摘要：

以集群为基础的高性能计算的发展经历了3个阶段的演化,即计算子系统与存储子系统的分离、计算子系统与存储子系统的融合以及以数据并行为基础的dataflow编程模型.随着Spark、Flink等数据流编程模型在大数据计算领域的广泛使用,计算作业类型千变万化,如何保证各种数据流计算作业对集群资源的共享使用是集群资源管理的核心,也是降低基础设施成本的主要手段.分析集群资源管理的历史变化,从数据流编程模型的角度出发,对HoD、集中式、双层调度、分布式以及混合式管理展开了深入的探索,介绍了其各自的优缺点以及应用现状,为数据流计算环境下的集群资源管理和调度的使用或者研发提供一定的参考和借鉴.

关键词：数据流模型、集群资源、调度框架、大数据

所属期刊栏目：6

分类号：TP31(计算技术、计算机技术)

资助基金：国家重点研发计划基金资助项目No.2018YFB1003400

在线出版日期：2020-12-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：87-100