基于Ring All-Reduce的高扩展性分布式机器学习架构

摘要：

如今,机器学习广泛应用于各个行业,然而随着当下各种应用场景的数据量的增大,分布式机器学习几乎成为唯一的选择.因此,各个设备之间的数据通讯的优化十分重要.在参数服务器架构中,参数同步通信量大,参数服务器节点的带宽会成为瓶颈;而在基于Ring All-Reduce的框架下,通信时间受限于环上最慢的连接,当环中GPU节点数变多的时候,会导致延迟变大.该文提出一种基于Ring All-Reduce的分层架构,将计算节点按算力大小分成多个小组,组内使用Ring All-Reduce算法进行同步并行,小组间使用参数服务器架构实现异步并行,保证模型收敛的条件下,兼顾各个节点的负载均衡.

关键词：分布式机器学习、联邦学习、分层Ring All-Reduce

所属期刊栏目：18

分类号：TP18(自动化基础理论)

资助基金：辽宁省大学生创新创业训练计划S202110145204

在线出版日期：2022-04-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：54-56,59