基于Hadoop Streaming的Last比对软件并行化的研究与实现

摘要：

随着下一代测序技术的到来，单机版Last比对软件已经不能满足海量数据的处理需求。使用Hadoop Streaming技术将Last比对软件快速部署到云计算环境中，解决当前单机版Last比对软件处理大数据能力差的问题。通过自定义的基于NFS 文件系统的数据集切分方法和基于Partitioner的任务分配方式能够实现均衡高效的数据切分，并保证并行化粒度可控。实验结果表明，在保证与单机运行结果一致的情况下，这种方法能有效缩减软件运行时间，具有较高的加速比。

关键词：hadoop streaming、软件并行化、last比对软件

分类号：TP311.52(计算技术、计算机技术)

资助基金：中央高校基本科研业务费专项资金项目No.DL13CB05；哈尔滨市科技创新人才研究专项No.2013RFXXJ089；哈尔滨市应用技术研究与开发项目No.2013AE1CE007。

在线出版日期：2014-01-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：226-230