基于流网络的Flink平台弹性资源调度策略

摘要：

为了解决大数据流式计算平台中存在计算负载波动上升,但集群无法有效应对负载变化的问题,提出了基于流网络的Flink平台弹性资源调度策略(FAR-Flink).该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度算法确定集群性能瓶颈并制定动态资源调度计划,最后通过基于数据分簇和分桶管理的状态数据迁移算法,实施调度计划并完成节点间的高效数据迁移.实验结果表明,该策略在状态数据复杂的应用场景中有较好的优化效果,在满足计算时延约束的前提下提高了集群的吞吐量,缩短了状态数据迁移的时间.由此可见,FAR-Flink策略有效提升了集群对负载波动的响应能力.

关键词：流式计算、资源调度、弹性集群、负载迁移、Flink

所属期刊栏目：40

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61862060, 61462079, 61562086, 61562078;国家科技部科技支撑基金资助项目2015BAH02F01;新疆维吾尔自治区自然科学基金资助项目2017D01A20;新疆维吾尔自治区高校科研计划基金资助项目XJEDU2016S106

在线出版日期：2019-09-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共17页

页码：85-101