HDFS中海量小文件合并与预取优化方法的研究

摘要：

HDFS在存储海量文件时具有明显的优势,但在存储小文件占绝大多数的海量文件时,HDFS单个Name-Node的存储架构会导致其性能严重降低.为此,提出一种基于合并思想的方案,即将小文件合并为大文件,同时建立小文件到合并文件的映射关系,并将其存于HBase中.为了提高读取速度,建立了基于LRU的预取机制.实验表明,该方法能明显提高HDFS在处理海量文件时的整体性能.

关键词：HDFS、海量文件、合并、映射、LRU、预取机制

所属期刊栏目：44

分类号：TP302.1(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61672227

在线出版日期：2018-01-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：516-519,541