关于Hadoop中I/O的研究

摘要：

Hadoop在存储数据的过程中,首先要保证的就是数据的完整性,通常,Hadoop是根据由数据计算出的校验和进行数据验证的,从而保证数据的完整性,为了达到持续保持完整性的目的,Hadoop会分别在I/O过程中和利用定时扫描程序验证数据并具备一套完善的纠正机制;在此前提下,通过文件的压缩,Hadoop可以有效地减少文件占用的空间并提高文件传输速度,相关的压缩算法有bzip2和LZO等.

关键词：Hadoop、HDFS、I/O、压缩

所属期刊栏目：14

分类号：TP311(计算技术、计算机技术)

资助基金：本论文属于校内科研课题《关于Hadoop中I/O操作的研究》的相关研究成果

在线出版日期：2018-07-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共2页

页码：239,242