基于Hadoop的测试数据处理系统设计与实现

摘要：

提出一种基于Hadoop软件框架进行海量测试数据处理的解决方案.在深入研究Hadoop 分布式系统构架、HDFS分布式文件系统以及MapReduce分布式编程模型的基础上,设计并实现了二进制测试数据文件到HDFS的传输机制以及基于MapReduce的测试数据分布式格式转换系统.最后搭建实验环境,验证了整个系统的正确性并对分布式格式转换系统进行性能评估.与本地单机相比,系统在处理海量数据时具有更高的效率及更好的可拓展性.

关键词：半导体测试数据、分布式存储、Hadoop、MapReduce

所属期刊栏目：41

分类号：TP311(计算技术、计算机技术)

资助基金：陕西省自然科学基金2014JM8311

在线出版日期：2015-08-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：140-143