Proximal recursive generalized hyper-gradient descent method

doi:10.1016/j.asoc.2025.113073

2025-05-01

PRE

Hao Zhang

Shuxia Lu *

DOI：10.1016/j.asoc.2025.113073

原文链接

原文求助

摘要

En 中文

本文聚焦于非凸、非光滑复合优化问题。该问题由一个非凸损失函数和一个允许近端映射的非光滑正则化函数组成。然而，现有方法在处理涉及非光滑正则化的目标函数时仍存在局限性。如何确定复合优化问题的步长可能是一个挑战。为弥补这一不足，我们提出了一种基于广义超梯度下降的递归梯度下降算法，命名为ProxSarah-GHD，该算法利用方差减少技术并提供自适应步长的更新规则。为改进近端梯度下降的泛化能力，本文提出了一种广义超梯度下降的变体，命名为Generalized Hyper-gradient Descent（GHD）。我们证明了ProxSarah-GHD具有线性收敛率。此外，我们给出了ProxSarah-GHD的Oracle复杂度，在在线设置和有限和设置下分别为O(ε⁻³)和O(√nε⁻² + n)。另外，为避免手动调整批量大小的麻烦，我们为ProxSarah-GHD开发了一种新颖的指数增长小批量方案，命名为ProxSarah-GHD-EIM，并提供了理论分析，表明ProxSarah-GHD-EIM同样具有线性收敛率，其总复杂度在在线设置和有限和设置下分别为O(ε⁻⁴ + ε⁻²)和O(n + ε⁻⁴ + ε⁻²)。在标准数据集上的数值实验验证了ProxSarah-GHD相较于其他方法的优越性。我们进一步分析了ProxSarah-GHD-EIM对其超参数的敏感性，并在标准数据集上进行了实验。

Keyword:

Non-convex optimization

Generalized hyper-gradient descent

Stochastic recursive gradient algorithm

Adaptive step size