基于Hadoop的多关键字排序方法研究

摘要：

在单机环境下按多关键字对大数据排序需要较长的执行时间，为了提高按多关键字对大数据排序的效率，根据Hadoop的MapReduce模型，给出了两种基于Hadoop的多关键字排序方法。方法一在Reduce函数中使用链式基数排序算法按多关键字对大数据并行排序，利用多个节点的计算能力提高排序的效率。方法二通过定义组合键和比较器实现了对记录的多个关键字按字节比较，节省了将字节流反序列化为对象的时间。通过实验测试了两种方法的性能，实验结果表明，两种方法均能取得较高的排序效率和较好的可扩展性。

关键词：Hadoop、MapReduce模型、多排序、基数排序

所属期刊栏目：52

分类号：TP311.1(计算技术、计算机技术)

资助基金：广西自然科学基金No.2014GXNSFBA118015；玉林师范学院校级科研项目No.2014YJYB03。

在线出版日期：2016-09-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：79-83,159