分布式机器学习系统网络性能优化研究进展

摘要：

以机器学习为代表的人工智能技术需要对海量数据进行处理,对底层算力要求极高.分布式机器学习通过将计算任务分布式地部署到多个计算节点来加快模型的训练速度,从而将训练任务完成时间降低到可接受范围.由于通信开销对分布式机器学习系统的扩展性具有重要影响,因此,分布式机器学习系统网络性能优化受到各界研究者的广泛关注.本文首先分析了分布式机器学习系统扩展性不足的主要原因,并提出了改善其扩展性的关键思路,然后系统地综述了分布式机器学习系统网络性能优化相关的研究工作,并对这些研究工作从多个角度进行了对比分析.最后,对分布式机器学习系统网络性能优化研究的未来发展趋势进行了展望.

关键词：分布式机器学习系统、网络优化、参数同步、通信调度、网内聚合

所属期刊栏目：45

分类号：TP18(自动化基础理论)

资助基金：国家重点研发计划;广东省重点领域研发计划项目;国家自然科学基金;清华大学-中国移动联合研究院项目

在线出版日期：2022-07-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共28页

页码：1384-1411