一种基于深度强化学习的Spark Streaming参数优化方法

摘要：

Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一.在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素.在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能.因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法(DQN-SSPO),将Spark Streaming参数优化配置问题转化为深度强化学习模型训练中的最大回报获得问题,并提出权重状态空间转移方法来增加模型训练获得高反馈奖励的概率.在3种典型的流分析任务上进行实验,结果表明经参数优化后Spark Streaming上的流作业性能在总调度时间上平均缩减27.93％,在总处理时间上平均缩减42％.

关键词：Spark Streaming;性能优化;深度强化学习;参数调优

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目;贵州省科学技术基金资助项目;国家重点研发计划项目

在线出版日期：2021-10-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：49-56,62