最大互信息系数的并行计算方法研究

摘要：

针对最大互信息系数(maximal information coefficient,MIC)近似算法在大规模数据场景下的计算时间复杂度高,计算时间增长快的问题,提出一种最大互信息系数并行计算(parallel computing maximal information coefficient,PCMIC)方法.分别在Spark和Spark-MPI(message passing interface)计算框架中,在不同的数据规模和不同的噪声水平下,利用PCMIC算法对14种典型的相关关系做并行计算.另外在不同节点数的情况下,选择两种具有代表性的相关关系来测试PCMIC算法在两种计算框架中的性能.结果表明:PCMIC算法在两种框架下的运算效果与原始MIC近似算法相比,同样具有普适性和均匀性,而且具有良好的可扩展性;随着数据规模和节点数的增加,PCMIC算法在两种框架中运算的时间增长明显比MIC近似算法慢,而且在Spark-MPI框架下的并行加速比和效率略优于Spark;Spark能够支持MPI任务的调度,为研究不同并行计算框架之间的融合奠定了一定的理论和应用基础.

关键词：最大互信息系数;并行计算;最大互信息系数并行计算(PCMIC);Spark;消息传递接口(MPI)

所属期刊栏目：21

分类号：TP311.1(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;广东海洋大学创新强校工程项目

在线出版日期：2022-01-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：14625-14633