.png){kind=icon}
返回
Faster margin maximization rates for generic and adversarially robust optimization methods
.png){kind=icon}
PRE
AI
DOI：10.1007/s10107-025-02283-4.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
一阶优化方法在最小化具有多个全局最优解的欠定训练目标时，往往会固有地偏好某些解而非其他解，这种现象被称为隐式偏差，它在理解优化算法的泛化能力方面起着关键作用。近期研究表明，在可分二元分类任务中，基于梯度下降的方法表现出对ℓ₂-最大间隔分类器的隐式偏差。类似地，通用优化方法（如镜像下降和最速下降）已被证明会收敛到由其他几何结构定义的最大间隔分类器。尽管基于梯度下降的算法在理论上可实现快速的隐式偏差率，但文献中通用优化方法的相应速率相对较慢。为解决此局限性，我们提出了一系列针对镜像下降和最速下降算法的最新隐式偏差率。我们的主要技术涉及将通用优化算法转化为解决正则化双线性博弈的在线优化动态，从而为分析各种优化方法的隐式偏差提供了一个统一框架。我们的加速率是通过利用该博弈框架中在线学习算法的遗憾界推导得出的。随后，我们通过分析对抗训练中的隐式偏差来展示该框架的灵活性，并再次获得了显著改进的收敛速率。
Keyword:
Implicit Bias
Online Learning
Margin Maximization
Adversarial Training
期刊
M
IF:
2.5
论文数:
93
被引数:
0
机构
查看更多机构
.png){kind=icon}
