面向大规模感知数据的实时数据流处理方法及关键技术

摘要：

为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力.在此基础上,为了适应性地构造RTMR集群,利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构.为实现集群的负载均衡,通过计算负载状态转换关系分组空闲节点和过载节点,将NP难的动态负载均衡问题快速分解为规模较小的子问题,并且综合执行时间和数据移动代价作为子问题的优化目标,提高应对负载倾斜的反应速度.实验表明,上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性.

关键词：数据流处理、大规模数据处理、MapReduce方法、适应性架构、负载均衡

所属期刊栏目：19

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目60903137,60970132

在线出版日期：2013-07-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：641-653