一种Hadoop小文件存储优化策略研究

摘要：

随着“大数据”时代的到来,Hadoop等大数据处理平台也应运而生.但其存储载体——Hadoop分布式文件系统却在海量小文件存储方面存在着很大缺陷,存储海量小文件会导致整个集群的负载增高、运行效率下降.为了解决这一针对小文件的存储缺陷,通常的方法是将小文件进行合并,将合并后的大文件进行存储,但以往方法并未将文件体积大小分布加以利用,未能进一步提升小文件合并效果.本文提出一种基于数据块平衡的小文件合并算法,优化合并后的大文件体积分布,有效降低HDFS数据分块,从而减少集群主节点内存消耗、降低负载,使数据处理过程可以更高效的运行.

关键词：HDFS、小文件存储、小文件合并算法

所属期刊栏目：5

分类号：TP391.41(计算技术、计算机技术)

在线出版日期：2015-09-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：28-32,36