A Uniform Momentum-Based Distributed Stochastic Gradient Tracking Algorithm for Non-Convex Optimization

Yantao Li

doi:10.1016/j.jfranklin.2025.108040

A Uniform Momentum-Based Distributed Stochastic Gradient Tracking Algorithm for Non-Convex Optimization

2025-09-05

0

PRE

AI

DOI：10.1016/j.jfranklin.2025.108040

原文链接

原文求助

摘要

En 中文

本文研究了分布式非凸优化问题，特别关注一种协同方法，用于在网络各代理间优化全局非凸目标函数。此类问题在考虑效率时通常出现在人工智能和工程领域的多个应用中，尤其在机器学习、资源管理等方向表现明显。为此，我们提出了一种新颖的分布式随机动量加速算法，为分布式随机梯度追踪方法提供统一的动量加速范式。通过调整所提算法的参数，可以获得不同的分布式动量加速方法。在理论分析中，我们证明了所提算法能够以次线性收敛速率收敛到非凸函数的一阶稳定点邻域。此外，在特定条件下，所提算法被证明能够实现与网络拓扑无关的收敛。最后，通过数值仿真验证了所提算法的有效性。

A Uniform Momentum-Based Distributed Stochastic Gradient Tracking Algorithm for Non-Convex Optimization

摘要

期刊

机构

引用论文