Spark计算节点同构环境下Executor的内存分配优化模型

摘要：

在对Spark云计算平台的作业执行机制进行研究分析的基础上,针对目前Spark处理作业时Executor的人为请求资源机制,提出了一种Spark计算节点同构环境下Executor所需内存资源的优化分配算法,该算法能够基于处理数据的数据量对分布式内存资源进行弹性分配,达到了Spark在数据量变化情况下合理利用分布式内存资源这一目的,并对此进行了仿真实验验证.

关键词：Spark、Executor、内存资源、资源分配

分类号：TP3;TN9

在线出版日期：2017-12-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共2页

页码：205-206