.png){kind=icon}
返回
Diffusion-LSVRG-UP: Distributed LSVRG-based diffusion algorithm with uncoordinated probabilities
.png){kind=icon}
PRE
AI
DOI：10.1016/j.jfranklin.2026.108658.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文专注于强连通网络下的大规模分布式随机优化问题。大多数为分布式优化设计的一阶算法使用全梯度进行下降步，这将耗费大量时间和资源。因此，使用随机梯度有助于提高效率，其中无循环随机方差缩减梯度（LSVRG）是梯度估计的极佳选择。此外，与梯度跟踪算法相比，扩散策略适用于更快的收敛和更少的通信。因此，本文提出了Diffusion-LSVRG-UP算法，其中“UP”是一种非协调概率触发机制，允许Diffusion-LSVRG-UP在分布式设置中更灵活且更独立于全局参数。在可行的步长范围内，所提出的算法使用固定步长在强凸条件下实现期望下的线性收敛。为进一步扩展算法的实际适用性，我们将强凸性条件替换为Polyak-Łojasiewicz（PL）条件，并证明在该非凸条件下算法仍能实现向最优解邻域的线性收敛。在论文的最后部分，进行了若干数值实验以验证Diffusion-LSVRG-UP的收敛性和优势。
Keyword:
Distributed stochastic optimization
LSVRG
Diffusion strategy
Uncoordinated probabilistic triggering
Linear convergence
