Spark迭代密集型应用的优化方法研究

摘要：

Spark是一个非常流行且广泛适用的大数据处理框架,具有良好的易用性和可扩展性.但在实际应用中,仍然存在一些问题需要解决.例如在部分迭代计算场景中,得到的加速效果并不理想,究其原因在于使用Spark等分布式系统后引入的额外损耗较大.为准确分析并降低这些损耗,提出了Spark效率分析公式,以分布式计算代价衡量额外损耗,以有效计算比衡量执行效率.在此基础上,还针对Spark迭代密集型应用设计并实现了一种优化策略.测试结果表明,有效计算比和程序执行性能得到了大幅提升,其中有效计算比提升了约0.373,程序执行时间缩短了约68.2％.

关键词：Spark、迭代密集型应用优化、分布式计算代价、有效计算比

所属期刊栏目：56

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金No.11775249.No.11875283

在线出版日期：2020-12-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：68-73