arrow
返回

Gentle local robustness implies generalization

delete2025-04-24
delete0
PRE
AI
K
Khoat Than *
D
Dat Phan
G
Giang Vu
DOI:10.1007/s10994-025-06775-4delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
机器学习模型的鲁棒性和泛化能力在各种应用领域中至关重要。目前对分析这些属性的效率方法有广泛的兴趣。一个重要方向是分析这两种属性之间的联系。先前的理论表明,鲁棒的学习算法可以产生具有高泛化能力的训练模型。然而,本文表明,对于分类问题中重叠类别的贝叶斯最优分类器(Bayes optimal classifier)(它是所有可测分类器中最佳的)而言,现有的误差界是空洞的。这些界无法收敛到该理想分类器的真实误差。这是不可取的、令人惊讶的,并且此前未知。随后,我们提出了一类新型界,这些界是模型依赖的,并且被证明比现有的基于鲁棒性的界更紧。与以往的界不同,随着样本数量的增加,我们的界保证会收敛到最佳分类器的真实误差。此外,我们还提供了广泛的实验,发现我们提出的两种界对于从ImageNet预训练的大型深度神经网络类通常是非空洞的。
Keyword:
Model robustness
Generalization ability
Error bound

期刊

Machine Learning 封面图
Machine Learning
IF:
2.9
论文数:
2.7K
被引数:
3.4W

机构

V
vinbigdata inst
学者数:
1
论文数: 1
被引数: 0
H
Hanoi University of Science and Technology
学者数:
709
论文数: 339
被引数: 2.1K
引用论文

引用论文

err分享
err收藏
Robustness and generalization
err2011-11-15
err246
errOAAI
errXu, Huan; Mannor, Shie
err分享
err收藏
err分享
err收藏
err分享
err收藏
Robust Large Margin Deep Neural Networks
err2017-08-15
err0
errOAAI
errJure Sokolic; Raja Giryes; Guillermo Sapiro; Miguel R. D. Rodrigues
err分享
err收藏
Robust twin support vector machine for pattern classification
err2013-01-01
err266
PREAI
errQi, Zhiquan; Tian, Yingjie; Shi, Yong
err分享
err收藏
err分享
err收藏
Robustness and generalization for metric learning
err2015-03-01
err68
errOAAI
errBellet, Aurelien; Habrard, Amaury
err分享
err收藏
Orthogonal Deep Neural Networks
err2021-04-01
err0
errOAAI
errShuai Li; Kui Jia; Yuxin Wen; Tongliang Liu; Dacheng Tao
err分享
err收藏
学者 查看更多内容