返回
Gentle local robustness implies generalization
DOI:10.1007/s10994-025-06775-4.png)
摘要
En 中文
机器学习模型的鲁棒性和泛化能力在各种应用领域中至关重要。目前对分析这些属性的效率方法有广泛的兴趣。一个重要方向是分析这两种属性之间的联系。先前的理论表明,鲁棒的学习算法可以产生具有高泛化能力的训练模型。然而,本文表明,对于分类问题中重叠类别的贝叶斯最优分类器(Bayes optimal classifier)(它是所有可测分类器中最佳的)而言,现有的误差界是空洞的。这些界无法收敛到该理想分类器的真实误差。这是不可取的、令人惊讶的,并且此前未知。随后,我们提出了一类新型界,这些界是模型依赖的,并且被证明比现有的基于鲁棒性的界更紧。与以往的界不同,随着样本数量的增加,我们的界保证会收敛到最佳分类器的真实误差。此外,我们还提供了广泛的实验,发现我们提出的两种界对于从ImageNet预训练的大型深度神经网络类通常是非空洞的。
Keyword:
Model robustness
Generalization ability
Error bound
期刊
IF:
2.9
论文数:
2.7K
被引数:
3.4W
机构
引用论文
Adversarial Attacks and Defenses in Deep Learning: From a Perspective of Cybersecurity深度学习中的对抗性攻击与防御: 网络安全视角

