基于负载预测的HDFS动态负载均衡改进算法

摘要：

针对现有HDFS负载均衡改进算法在解决负载状态衡量的片面性、滞后性以及阈值设定的静态性问题等方面存在不足,提出了一种基于负载预测的HDFS动态负载均衡改进算法.该算法首先探究影响存储效率的负载特征,定义多指标负载计算数学函数,然后通过优化的二次指数平滑预测算法,对节点下一时刻的负载值进行动态预测,最后根据预测结果和节点性能对集群的繁忙程度、响应效率和均衡程度等信息进行综合评估,建立动态阈值计算模型,进而对集群做出均衡判断和决策,更好地实现集群动态均衡效果.理论分析和实验结果表明,改进算法对存储系统中的负载均衡调度具有高效性,在达到更好均衡效果的同时也缩短了作业的完成时间,提高了系统整体响应效率.

关键词：负载均衡、二次指数、负载预测、动态阈值、动态均衡

所属期刊栏目：41

分类号：TP333(计算技术、计算机技术)

资助基金：国家自然科学基金项目资助61672416

在线出版日期：2019-06-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：75-80