Fast adversarial training based on implicit sharpness aware regularization

doi:10.1016/j.compeleceng.2026.111187

Fast adversarial training based on implicit sharpness aware regularization

2026-04-28

0

PRE

AI

DOI：10.1016/j.compeleceng.2026.111187

原文链接

原文求助

摘要

En 中文

深度神经网络（DNNs）极易受到对抗样本的攻击。尽管对抗训练（AT）是最有效的防御方法，但它面临着严重的效率-鲁棒性权衡：多步方法如投影梯度下降（PGD）虽然鲁棒性强，但计算成本高，而快速单步替代方法如快速梯度符号法（FGSM）则容易导致灾难性过拟合（CO）。在本文中，我们将损失景观中的尖锐最小值识别为CO的主要驱动因素。为解决此问题，我们提出了模型平滑（MS），一种隐式的锐度感知正则化框架，通过架构平滑抑制尖锐最小值。与需要两次前向和反向传播的显式方法（如锐度感知最小化）不同，我们的方法通过架构修改实现隐式正则化——在卷积层中注入零均值噪声，并将ReLU替换为可调平滑激活函数（β-SiLU），无需额外的反向传播。在CIFAR-10、SVHN、CIFAR-100和ImageNet上的大量实验表明，MS在实现有竞争力的鲁棒准确率（例如，在CIFAR-10上针对PGD-50的ϵ=8/255时为49.18%，在ImageNet上为20.11%）的同时，训练速度比PGD-based方法快近三倍。AutoAttack评估证实其鲁棒性是真实的，并非梯度屏蔽的产物。

Keyword:

Adversarial training

Sharpness-aware regularization

Model smoothing

Fast gradient sign method

Robustness efficiency trade-off

Fast adversarial training based on implicit sharpness aware regularization

摘要

期刊

机构

引用论文