Storm流处理平台中负载均衡机制的实现

摘要：

Storm流处理平台解决了传统的基于Hadoop的批处理系统实时性不高的问题,为多源异构大数据处理提供了高效、快速、实时的数据处理框架.然而Storm平台在任务分配过程中只考虑了不同节点之间可用Slot的排序,并没有充分考虑节点的实际负载情况,从而容易产生负载不均衡的问题.针对以上问题,本文在Storm分布式流处理系统上实现对可用Slot和节点负载情况的加权排序改进Storm调度算法,通过数据结构设计,保证rowkey的随机性和唯一性,确保RegionServer的负载平衡;同时通过批量写入的机制,提高Hbase数写入速度,从而提高流数据存储效率.通过与原生Storm 系统的对比实验,表明本文算法的改进和机制优化保证了数据的快速写入,提高了集群资源的利用率,改进后的系统在实用性与效率上具有明显的优势.

关键词：Storm、流处理、分布式计算、批量处理、负载均衡

分类号：TP302.7(计算技术、计算机技术)

资助基金：中国电子科技集团公司第三十二研究所自立项目ZQ160006,ZQ160007

在线出版日期：2018-01-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：65-70,76