返回
Primal-dual stochastic distributed algorithm for constrained convex optimization
DOI:10.1016/j.jfranklin.2019.07.018.png)
摘要
En 中文
本文研究了无向连接网络上的分布式凸优化问题,其中每个节点的变量都位于私有约束凸集内,并且整体节点的目标是共同最小化所有局部目标函数的总和。受大规模训练集分布到多个自治节点的机器学习问题中的各种应用的激励,每个局部目标函数被进一步设计为中等数量的局部瞬时函数的平均值。每个局部目标函数和约束集不能与他人共享。提出了一种原始对偶随机算法来解决分布式凸优化问题,其中每个节点通过采用无偏随机平均梯度和其私有约束集上的项目来更新其状态。在每次迭代时,对于每个节点,评估随机选择的一个局部瞬时函数的梯度,并且使用最近的随机梯度的平均值来近似真实的局部梯度。在约束情况下,我们证明了局部瞬时函数的强凸性及其梯度的Lipschitz连续性,该算法几乎可以肯定地收敛到全局最优解。在无约束情况下,提供了算法的显式线性收敛速度。数值实验证明了理论结果的正确性。(C) 2019富兰克林研究所。由爱思唯尔有限公司出版版权所有。
Keyword:
Constrained convex optimization
Machine learning
Primal-dual algorithm
Stochastic averaging gradients
Linear convergence
AI总结
对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
J
IF:
3.7
论文数:
6.4K
被引数:
1.5W
机构
引用论文
Event-Triggered Communication and Data Rate Constraint for Distributed Optimization of Multiagent Systems多智能体系统分布式优化的事件触发通信和数据速率约束
Distributed Projection Subgradient Algorithm Over Time-Varying General Unbalanced Directed Graphs时变一般不平衡有向图上的分布式投影次梯度算法

