arrow
返回

Primal-dual stochastic distributed algorithm for constrained convex optimization

delete2019-11-01
delete20
PRE
AI
Y
Youcheng Niu
H
Haijing Wang
Z
Zheng Wang
D
Dawen Xia
H
Huaqing Li *
DOI:10.1016/j.jfranklin.2019.07.018delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
本文研究了无向连接网络上的分布式凸优化问题,其中每个节点的变量都位于私有约束凸集内,并且整体节点的目标是共同最小化所有局部目标函数的总和。受大规模训练集分布到多个自治节点的机器学习问题中的各种应用的激励,每个局部目标函数被进一步设计为中等数量的局部瞬时函数的平均值。每个局部目标函数和约束集不能与他人共享。提出了一种原始对偶随机算法来解决分布式凸优化问题,其中每个节点通过采用无偏随机平均梯度和其私有约束集上的项目来更新其状态。在每次迭代时,对于每个节点,评估随机选择的一个局部瞬时函数的梯度,并且使用最近的随机梯度的平均值来近似真实的局部梯度。在约束情况下,我们证明了局部瞬时函数的强凸性及其梯度的Lipschitz连续性,该算法几乎可以肯定地收敛到全局最优解。在无约束情况下,提供了算法的显式线性收敛速度。数值实验证明了理论结果的正确性。(C) 2019富兰克林研究所。由爱思唯尔有限公司出版版权所有。
Keyword:
Constrained convex optimization
Machine learning
Primal-dual algorithm
Stochastic averaging gradients
Linear convergence
AI总结

AI总结

对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

期刊

J
Journal of the Franklin Institute-Engineering and Applied Mathematics
IF:
3.7
论文数:
6.4K
被引数:
1.5W

机构

S
southwest university - china
学者数:
2.6W
论文数: 1.9W
被引数: 21
G
Guizhou Minzu University
学者数:
1.3K
论文数: 898
被引数: 1.5K
引用论文

引用论文

On the distributed optimization over directed networks
err2017-12-01
err54
errOAAI
errXi, Chenguang; Wu, Qiong; Khan, Usman A.
err分享
err收藏
Fast Distributed Gradient Methods快速分布梯度法
err2014-05-01
err463
errOAAI
errJakovetic, Dusan; Xavier, Joao; Moura, Jose M. F.
err分享
err收藏
Mechanisms of self-association of a human monoclonal antibody CNTO607
err2012-08-22
err0
errOAAI
errDeidra Bethea; Sheng-Jiun Wu; Jinquan Luo; Linus Hyun; Eilyn R. Lacy; Alexey Teplyakov; Steven A. Jacobs; Karyn T. O'Neil; Gary L. Gilliland; Yiqing Feng
err分享
err收藏
D-ADMM: A Communication-Efficient Distributed Algorithm for Separable Optimization
err2013-05-01
err337
errOAAI
errMota, Joao F. C.; Xavier, Joao M. F.; Aguiar, Pedro M. Q.; Pueschel, Markus
err分享
err收藏
学者 查看更多内容