.png){kind=icon}
返回
Developing Lagrangian-Based Methods for Nonsmooth Nonconvex Optimization
.png){kind=icon}
PRE
AI
DOI：10.1287/moor.2024.0479.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文考虑在Rn的闭凸子集X上，在附加的非光滑非凸约束c(x)=0下，对非光滑非凸目标函数f(x)进行最小化。我们提出了一种统一的框架来发展基于拉格朗日的方法，该方法在每个迭代中对原始变量进行单步更新，采用某种次梯度方法。这些次梯度方法以黑箱更新的方式嵌入到我们的框架中。我们证明了在温和条件下，我们提出的框架继承了这些嵌入的次梯度方法的全球收敛保证。此外，我们展示了我们的框架可以扩展到求解具有期望约束的约束优化问题。基于提出的框架，我们展示了广泛的现有随机次梯度方法，包括近端随机次梯度下降（SGD）、近端动量SGD和近端自适应矩估计方法（ADAM），可以嵌入到基于拉格朗日的方法中。在深度学习任务上的初步数值实验表明，我们提出的框架为非光滑非凸约束优化问题提供了具有收敛保证的基于拉格朗日方法的高效变体。
Keyword:
nonsmooth optimization
constrained optimization
Lagrangian-based methods
stochastic subgradient method
deep learning
期刊
M
IF:
1.9
论文数:
77
被引数:
0
机构
引用论文
.png){kind=icon}
Complexity of Proximal Augmented Lagrangian for Nonconvex Optimization with Nonlinear Equality Constraints非线性等式约束下非凸优化的近端增广拉格朗日复杂性
OAAI
OAAI分享收藏分享收藏
查看更多内容