基于Hadoop框架的MapReduce计算模式的优化设计

摘要：

对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为Hadoop框架下的Ma-pReduce分布式处理模式.MapReduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题.通过分析Hadoop源码的使用,认真研究MapReduce对海量数据处理作业流程分析,提出了MapReduce分布式作业计算的优化策略,从而更好地提高了海量数据的处理效率.

关键词：Hadoop、海量数据、MapReduce、分布式计算

所属期刊栏目：41

分类号：TP301(计算技术、计算机技术)

在线出版日期：2015-01-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：333-336