面向通用一致性优化的通信高效的异步ADMM算法

摘要：

分布式交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)是求解大规模机器学习问题使用最广泛的方法之一.现有大多数分布式ADMM算法都基于完整的模型更新.随着系统规模及数据量的不断增长,节点间的通信开销逐渐成为限制分布式ADMM算法发展的瓶颈.为了减少节点间通信开销,提出了一种通信高效的通用一致性异步分布式ADMM算法(General Form Consensus Asynchronous Distributed ADMM,GFC-ADADMM),该算法通过分析高维稀疏数据集的特性,节点间利用关联模型参数代替完整模型参数进行通信,并对模型参数进行过滤以进一步减少节点间传输负载.同时结合过时同步并行(Stale Synchronous Parallel,SSP)计算模型、allreude通信模型及混合编程模型的优势,利用异步allreduce框架并基于MPI/OpenMP混合编程模型实现GFC-ADADMM算法,提高算法计算与通信效率.文中利用GFC-ADADMM算法求解稀疏logistic回归问题,实验测试表明,与现有分布式ADMM算法相比,GFC-ADADMM算法可减少15％63％的总运行时间,且算法收敛时可达到更高的准确率.

关键词：分布式交替方向乘子法、通用一致性优化、稀疏allreduce、混合编程模型、Logistic回归

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金U1811461

在线出版日期：2022-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：309-315