Hadoop集群部署实验的设计与实现

摘要：

阐述了Hadoop软件框架中的两大核心技术——HDFS分布式文件系统架构和MapReduce分布式处理机制,设计了Hadoop集群部署实验的具体方案,主要包括实验目的、实验区域的划分、节点的规划等,并且以一组实验设备为例,详细说明了配置方法,给出了实现过程.通过该实验能够让学生从理论和实践上掌握Hadoop有关的技术知识.

关键词：Hadoop、集群部署、HDFS、MapReduce、NameNode、DataNode、JobTrack、TaskTrack

所属期刊栏目：32

分类号：TP311.52(计算技术、计算机技术)

资助基金：清华携手Google助力西部教育-科研培育项目“在线社会网络模型研究及鲁棒性分析”;国家自然科学基金项目61363019;青海省科技创新能力促进计划项目2014-ZJ-718,2014-ZJ-941Q

在线出版日期：2015-05-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：145-149