基于Hadoop分布式缓存的研究与实践

摘要：

在大规模离线数据的分析场景中,由于元数据库被频繁访问造成的性能瓶颈导致集群计算速度急剧下降.典型的Hadoop平台多基于磁盘进行数据读写,磁盘的读写速度又明显不如内存.针对这种情况,本文基于Hadoop平台,结合对其他分布式缓存的研究,提出了一种新的分布式缓存技术来加快数据的计算速度,从而提高数据的计算时效性.实验结果表明应用于Hadoop的MMap内存模型能极大地提升了集群的计算速度.该模型能有效将文件映射到内存区域,减少内核与用户空间来回拷贝数据,同时数据异步式追加方式不会阻塞计算进程,能有效提升集群整体的计算能力.

关键词：Hadoop、分布式、缓存

所属期刊栏目：5

分类号：TP392(计算技术、计算机技术)

资助基金：上海市科技创新行动计划高新技术领域项目

在线出版日期：2016-03-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：29-32