.png){kind=icon}
返回
Distributed Stochastic Optimization Under Heavy-Tailed Noises
.png){kind=icon}
PRE
AI
DOI：10.1109/TAC.2025.3617572.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文研究了存在重尾梯度噪声的分布式优化问题。这里，一个重尾噪声 $\xi$ 不一定满足有界方差假设，即 ${\mathbb {E}}[\Vert \xi \Vert ^{2}]\leq \nu ^{2}$ 对某个正数 $\nu$ 成立。相反，它满足一个更一般的条件 ${\mathbb {E}}[\Vert \xi \Vert ^\delta ]\leq \nu ^\delta$ 对某个 $1< \delta \leq 2$ 成立。常用的有界方差假设是所考虑噪声假设的一个特例。虽然已有多种分布式优化算法被提出用于处理涉及重尾噪声的场景，但这些算法需要网络中的中心化服务器，该服务器收集所有客户端的信息。与这些算法不同，本文考虑了一个没有中心化服务器的场景，其中智能体只能通过通信图与邻居交换信息。提出了一种结合梯度裁剪和分布式随机梯度投影的分布式方法。证明了当梯度下降步长和梯度裁剪步长满足一定条件时，每个智能体的状态以概率1收敛到分布式优化问题的最优解。仿真结果验证了该算法。
Keyword:
Distributed stochastic optimization
heavy-tailed noise
infinite variance data
multiagent system
期刊
IF:
7
论文数:
1.3W
被引数:
6.7W
机构
引用论文
.png){kind=icon}
Convergence in High Probability of Distributed Stochastic Gradient Descent Algorithms高概率分布随机梯度下降算法的收敛性
PREAI
分享收藏
查看更多内容