基于Hadoop平台的海量文件存储策略研究

摘要：

针对传统HDFS在存取海量小文件时出现的I/O性能瓶颈问题,本文提出了一种优化的HDFS存取策略.通过文件预处理、增加元数据信息和元数据批处理操作等优化策略,比较好地解决了传统HDFS处理海量小文件的性能问题.并通过试验证明了该方法的有效性.

关键词：Hadoop、HDFS、小文件、存取策略

所属期刊栏目：13

分类号：TP391(计算技术、计算机技术)

资助基金：广东省自然科学基金资助项目S2011040004769;深圳市科技研发资金资助项目JCYJ20120617134831736

在线出版日期：2014-06-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：67-70