基于HDFS的小文件存取优化研究

摘要：

随着我国经济的发展和科技的进步,Hadoop云计算平台发展越来越成熟,通过可靠、高效的特性在互联网的应用越来越广泛,如:Facebook公司应用了Hadoop,促进了公司成功和发展.而HDFS作为Hadoop小文件存取系统,提高了文件存取的安全性和高效性,推动了Hadoop云计算平台的进步.但是由于HDFS系统的设计主要是针对大文件的存取与计算,所以HDFS系统却忽略了小文件的存取优化,当海量的小文件进行存储时,会产生大量的元数据,从而占用了Name Node大量的内存,影响了系统的存储效率和安全性能.如果大量的小文件一起访问时,会对HDFS中的Name Node和Data Node造成巨大的负荷压力,可能会直接导致系统的崩溃,所以,HDFS不适合大量小文件的存取.本文通过描述HDFS在存取小文件时出现的问题,从而提出针对性发展意见,优化和研究HDFS的小文件存取,促进HDFS系统的发展和进步.

关键词：HDFS、小文件存取、优化研究

在线出版日期：2018-05-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共1页

页码：6