期刊专题

10.11896/jsjkx.200300010

ENLHS:一种基于抽样的Kafka自适应调优方法

引用
Kafka应用在生产环境中时,除机器的硬件环境和系统平台影响其性能外,Kafka自身的配置项决定着其能否在硬件资源有限的情况下达到理想的性能,但人为修改和调优配置项的效率极差.海量数据发送到Kafka后,如果不针对实际资源环境进行调优,Kafka使用默认的配置参数无法保证其在每个生产环境下的性能.因为Kafka自身的配置项非常大,传统的自适应算法在大规模生产系统中的性能较差.为了提高Kafka的自适应能力,消除系统中的复杂性,获得更好的运行性能,提出一种针对Kafka的自适应性能调优方法.该方法充分考虑了Kafka特征参数与性能的影响权值,并使用抽样的原理来提高数据集的生成效率并优化数据选取范围,提高建模的效率并降低优化方法的复杂度.实验结果显示,该算法对开源版本Kafka的吞吐率和时延进行了优化,提高了Kafka在给定的系统资源下的吞吐性能,并降低了时延.

Kafka、消息队列、性能调优、拉丁超立方抽样、弹性网络

47

TP311.5(计算技术、计算机技术)

国家重点研发计划项目;国家自然科学基金;江苏省科技支撑计划项目;江苏省高等学校自然科学研究重大项目;江苏省六大人才高峰高层次人才项目

2020-08-26(万方平台首次上网日期,不代表论文的发表时间)

共8页

119-126

暂无封面信息
查看本期封面目录

计算机科学

1002-137X

50-1075/TP

47

2020,47(8)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn