Hadoop系统map阶段的排序性能分析与优化

摘要：

MapReduce计算框架已被广泛用于大规模数据分析的应用。虽然它具有弹性的可扩展性和细粒度的容错系统，然而性能却并不令人满意。MapReduce可以通过分配更多的计算节点来实现更好的性能，但是，这种做法并不符合成本效益。用户渴望MapReduce在提供弹性的可扩展性和细密度容错的同时，可以具有更高的计算效率。该文提出了一种动态优化map阶段排序性能的方法，并进行了测试，测试结果表明，该方法能够提升MapReduce的基准测试性能。

关键词：Hadoop、MapReduce、排序、性能优化、动态

分类号：TP302.7(计算技术、计算机技术)

在线出版日期：2014-04-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：1410-1412