基于动态带宽分配的Hadoop数据负载均衡方法

摘要：

数据负载均衡对Hadoop分布式文件系统(HDFS)性能有着重要的影响,针对HDFS中默认的数据负载均衡方法存在的效率低和缺乏灵活性的不足,文中提出了一种新的动态负载均衡方法,即通过控制变量来动态分配网络带宽以达到数据负载均衡.在此基础上建立了基于控制变量的数据负载均衡数学模型.实验结果表明,文中提出的方法既能保证HDFS的数据访问性能,又能提高集群加入新节点时的数据负载均衡效率.

关键词：Hadoop、负载均衡、带宽

所属期刊栏目：40

分类号：TP393(计算技术、计算机技术)

资助基金：广东省自然科学基金资助项目10451064101005155,S2011010001754;广东省科技计划项目2012B010100030;广东省战略性新兴产业核心技术攻关项目2011A010801002;广州市海珠区科技计划项目x2jsB2120750

在线出版日期：2013-01-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：42-47