几种并行编程框架在数据挖掘领域的比较

摘要：

将机器学习并行化是进行海量数据挖掘的重要方式，但由于并行计算框架、机器学习算法的多样性，导致计算框架的选取及算法并行化存在着困难。本文对几种常见的并行计算框架的模型结构和工作机理进行了分析，根据算法中变量的依存关系将其分类，并将这几类算法进行了实验对比。实验结果表明，算法中变量的依存关系对其在并行化后的性能有巨大的影响。

关键词：MapReduce、Pregel、Hama、GraphLab、MPI、数据挖掘

分类号：TP3(计算技术、计算机技术)

资助基金：国家自然科学基金项目41171341

在线出版日期：2015-07-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：90-94