面向MapReduce的中间数据传输流水线优化机制

摘要：

MapReduce是一种适用于大数据处理的重要并行计算框架,通过在大量集群节点上并行执行多个任务,极大地提高了数据的处理性能.然而,由于中间数据需要等到Mapper任务完成之后才能被发送给Reducer任务,由此导致的大量传输延迟成为MapReduce框架性能的重要瓶颈.为此,文中提出了一种面向MapReduce的中间数据传输流水线优化机制,将有效计算与中间数据传输解耦,以流水线的方式重叠执行各个阶段,有效隐藏数据传输开销.文中还给出了中间数据传输流水线执行机制和实现策略,包括流水线划分、数据细分、数据归并和数据传输粒度等.在公开数据集上对所提中间数据传输流水线优化机制进行了评价,当Shuffle数据量较大时,该优化机制比默认框架的整体性能提高了60.2％.

关键词：MapReduce框架、中间数据传输、传输延迟、流水线、溢写文件归并

所属期刊栏目：48

分类号：TP391(计算技术、计算机技术)

资助基金：计算机体系结构国家重点实验室开放课题CARCH201804

在线出版日期：2021-03-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：41-46