.png){kind=icon}
返回
A variance-reduced distributed stochastic momentum algorithm over directed networks
.png){kind=icon}
PRE
AI
DOI：10.1002/asjc.3775.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
考虑了对一个光滑且强凸函数的分布式优化问题，其中该函数可以描述为有向网络上所有局部目标函数的有限和。开发了一种在有向网络上具有方差缩减的分布式随机动量算法，命名为DSM-SAGA。DSM-SAGA是重球动量方法与随机平均梯度加速（SAGA）方法的结合。利用SAGA的方差缩减技术可以消除随机梯度引入的方差。此外，我们采用push-sum共识策略来解决有向网络引起的不平衡问题。在适当假设下，证明了DSM-SAGA线性收敛于最优解。在分布式逻辑回归问题的数值结果中表明，DSM-SAGA比几种现有的分布式算法具有更快的收敛速度。
Keyword:
directed networks
distributed optimization
heavy-ball momentum
stochastic gradient descent
variance reduction
期刊
IF:
2.7
论文数:
603
被引数:
4.7K
机构
引用论文
分享收藏
Distributed Nesterov Gradient and Heavy-Ball Double Accelerated Asynchronous Optimization分布式Nesterov梯度和重球双加速异步优化
PREAI
分享收藏Distributed stochastic gradient tracking methods with momentum acceleration for non-convex optimization带有动量加速的分布式随机梯度跟踪方法用于非凸优化.png)
IF0
PREAI
分享收藏
查看更多内容