支持大规模流数据处理的在线MapReduce 数据传输机制

摘要：

针对流数据规模参差不齐、流量动态变化且突发性较强的特点，提出一种可伸缩的动态 MapReduce 计算模型，支持大规模动/静态数据在线处理。基于 Event 推送方式，利用Netty 底层异步通信方式等技术，建立在线 MapReduce 数据传输机制，进一步实现其原型程序，解决了大规模分布式计算程序的快速在线传输和数据分发等问题，支持流数据动态分发机制，为动态 MapReduce 模型提供支撑。与 HadoopOnline 系统的传统 Socket 管道传送方式相比，该方法能有效提高作业之间数据的传送效率，从而提高大规模流数据处理的实时性。

关键词：大数据、流数据处理、MapReduce模型、数据传输机制

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61170004;教育部高等学校博士学科点专项科研基金20130061110052;吉林省科技发展计划重点科技攻关项目20140204013GX;深部探测技术与实验研究专项基金SinoProbe-09-01;吉林大学基本科研业务费专项基金450060491439

在线出版日期：2015-04-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：273-279