Spark内存管理及缓存策略研究

摘要：

Spark系统是基于Map-Reduce模型的大数据处理框架.Spark能够充分利用集群的内存,从而加快数据的处理速度.Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点.首先,测试并分析了Shuffle Memory和Storage Memory的使用特点.RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区.接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择.最后,测试和分析了多种缓存策略的性能.

关键词：大数据、Spark内存管理、RDD缓存、缓存策略

所属期刊栏目：44

分类号：TP311(计算技术、计算机技术)

在线出版日期：2017-07-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：31-35,74