期刊专题

10.11896/jsjkx.190900046

基于机器学习的HBase配置参数优化研究

引用
HBase是一个分布式数据库管理系统,对于需要快速随机访问大量数据的应用程序,它正变得越来越流行.但是,它有许多性能关键配置参数,这些参数之间可能会以复杂的方式相互影响,这使得手动调整它们以获得最佳性能变得极其困难.文中提出了一种新的方法来自动调优给定HBase应用程序的配置参数,称为自动调优HBase.其关键是建立一个以配置参数为输入的低成本性能模型.为此,系统地研究了不同的建模技术,并决定采用集成学习算法来构建性能模型.随后,利用遗传算法通过性能模型为应用程序搜索最优配置参数.因此,它可以快速且自动地识别一组配置参数值,以使应用程序的性能达到最佳.实验测试了Yahoo!云服务基准的5个应用程序,结果表明,与默认配置相比,优化后的吞吐量平均提高41%,最高可达97%.与此同时,HBase操作的延迟平均降低了11.3%,最高可达57%.

HBase、自动调优、性能建模、性能优化、机器学习

47

TP391(计算技术、计算机技术)

中央高校基本科研业务费专项资金20190605

2020-07-17(万方平台首次上网日期,不代表论文的发表时间)

共7页

474-479,484

暂无封面信息
查看本期封面目录

计算机科学

1002-137X

50-1075/TP

47

2020,47(z1)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn