一种三参数统一化动量方法及其最优收敛速率

摘要：

动量方法由于能够改善SGD(stochastic gradient descent)的收敛性能而倍受机器学习研究者的关注.随着其在深度学习的成功应用,动量方法出现了众多形式的变体.特别地,产生了SUM(stochastic unified momentum)和QHM(quasi-hyperbolic momentum)两种统一框架.但是,即使是对非光滑凸优化问题,其最优平均收敛性的获得仍然存在着固定迭代步数和无约束等不合理限制.为此,提出了一种更一般的含三参数的统一化动量方法TPUM (triple-parameters unified momentum),能够同时包含SUM和QHM;其次,针对约束的非光滑凸优化问题,在采取时变步长的条件下,证明了所提出的TPUM具有最优的平均收敛速率,并将其推广到随机情况,从而保证了添加动量不会影响标准梯度下降法的收敛性能以及动量方法对机器学习问题的可应用性.典型的L1范数约束hinge损失函数优化问题实验验证了理论分析的正确性.

关键词：机器学习、优化算法、非光滑条件、动量方法、平均收敛速率

所属期刊栏目：57

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金项目;安徽省自然科学基金项目

在线出版日期：2020-10-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1571-1580