基于Spark的大数据处理平台的搭建与研究

摘要：

该文阐述了Spark处理技术在大数据框架上的性能提升优势,分析了BDAS生态系统框架中Spark的任务处理流程图.详细说明了Spark集群的搭建过程和运行状态,并通过Spark Shell的交互界面进行交互式编程,实现对文本内容中单词出现次数的统计.

关键词：大数据、Spark、集群、Yarn、交互式编程

所属期刊栏目：12

分类号：TP311(计算技术、计算机技术)

资助基金：江苏省高职院校教师2015年度国内高级访问学者计划2015FX063

在线出版日期：2016-07-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：14-16