MapReduce并行编程模型在大数据处理中的应用

摘要：

在当今这个科技发展迅猛的时代,大数据作为一项技术发展已不再新奇,当代大学生学计算机这块基本上也都有了大数据这个专业.虽然现在淘汰也很迅速,但是基于大数据技术的应用早几年就非常火热,而且作为一项发展前景广阔的技术,热度目前还会持续上升还不会下降,并且现在大数据还有很多有待挖掘的功能,比如减少数据存储成本,提高数据处理速度等.现今,怎么能拥有大数据它的不可估算的价值呢?把具有潜在价值的大数据进行专业化的处理是大数据的一个重要的战略意义.本文就大数据目前的应用情况引入,简述了Hadoop下实现的一个MapReduce案例,统计HDFS文件系统中的word.txt文件中的单词个数.

关键词：MapReduce、HDFS、Hadoop、数据挖掘、大数据分析

资助基金：安徽省创新训练项目《Hadoop大数据处理技术》,项目201710379119

在线出版日期：2018-12-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共1页

页码：222