Spark性能优化技术研究综述

摘要：

近年来,随着大数据时代的到来,大数据处理平台发展迅速,产生了诸如Hadoop,Spark,Storm等优秀的大数据处理平台,其中Spark最为突出.随着Spark在国内外的广泛应用,其许多性能问题尚待解决.由于Spark底层的执行机制极为复杂,用户很难找到其性能瓶颈,更不要说进一步的优化.针对以上问题,从开发原则优化、内存优化、配置参数优化、调度优化、Shuffle过程优化5个方面对目前国内外的Spark优化技术进行总结和分析.最后,总结了目前Spark优化技术新的核心问题,并提出了未来的主要研究方向.

关键词：Spark、开发原则优化、参数优化、内存优化、调度优化、Shuffle过程优化

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：云中并行程序性能分析方法研究61372171

在线出版日期：2018-08-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：7-15,37