面向大数据分布式存储的动态负载均衡算法

摘要：

随着大数据时代的到来,分布式存储技术应运而生.目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Federation)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题.针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性.该算法在试验验证中达到了较为理想的效果.

关键词：大数据、分布式存储、元数据管理、HDFS

所属期刊栏目：44

分类号：TP274(自动化技术及设备)

资助基金：四川省科技厅应用基础2015JY0228;科技支撑计划2015SZ0045,2014GZ0174;电子科大基础研究ZYGX2015J063;海外留学回国人员科研启动费项目基金

在线出版日期：2017-06-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：178-183