Per-example gradient regularization improves learning signals from noisy data

doi:10.1007/s10994-024-06661-5

Per-example gradient regularization improves learning signals from noisy data

2025-02-07

0

OA

AI

DOI：10.1007/s10994-024-06661-5

原文链接

原文求助

摘要

En 中文

梯度正则化，如Barrett和Dherin（国际学习表征会议，2021年）所述，是一种在梯度下降过程中促进平坦最小值的高效技术。实证证据表明，这种正则化技术可以显著增强深度学习模型对噪声扰动的鲁棒性，同时降低测试误差。本文中，我们探讨了逐样本梯度正则化（PEGR），并提出了一种理论分析，证明其在改善测试误差和对抗噪声扰动的鲁棒性方面的有效性。具体而言，我们采用了Cao等人（ Advances in Neural Information Processing Systems 35:25237-25250, 2022）的信号-噪声数据模型，并证明PEGR能够有效学习信号同时抑制噪声记忆。相比之下，标准梯度下降难以区分信号与噪声，导致泛化性能次优。我们的分析揭示，PEGR对模式学习的方差进行惩罚，从而有效抑制了训练数据中噪声的记忆。这些发现强调了方差控制在深度学习训练中的重要性，并为开发更有效的训练方法提供了有价值的见解。

Keyword:

Gradient regularization

Noise perturbations

Variance control

Per-example gradient regularization improves learning signals from noisy data

摘要

期刊

机构

引用论文