.png){kind=icon}
返回
Distributed Random Reshuffling Methods With Improved Convergence
.png){kind=icon}
PRE
AI
DOI：10.1109/TAC.2025.3552743.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文提出两种分布式随机重排（RR）方法，即带RR的梯度追踪（GT-RR）和带RR的精确扩散（ED-RR），用于解决在连通网络上的分布式优化问题，其中一组智能体旨在最小化其局部代价函数的平均值。两种算法均调用RR更新以针对每个智能体进行更新，继承了RR在最小化光滑非凸目标函数方面的有利特性，并在理论和经验上改进了之前的分布式RR方法。具体而言，GT-RR和ED-RR在驱动（最小）梯度预期平方范数趋于零方面均实现了$\mathcal {O}(1/[(1-\lambda)^{1/3}m^{1/3}T^{2/3}])$的收敛速率，其中$T$表示轮次数，$m$是每个智能体的样本量，$(1-\lambda)$代表混合矩阵的谱间隙。当目标函数进一步满足Polyak–Łojasiewicz条件时，我们证明了GT-RR和ED-RR在智能体函数值与全局最小值之间的平均预期差方面均实现了$\mathcal {O}(1/[(1-\lambda)mT^{2}])$的收敛速率。值得注意的是，这两项结果与集中式RR方法的收敛速率相当（在取决于网络拓扑的常数因子范围内），并优于之前的分布式RR算法。
Keyword:
Distributed optimization
nonconvex optimization
stochastic optimization
期刊
IF:
7
论文数:
1.3W
被引数:
6.7W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容