.png){kind=icon}
返回
GCSAM: Gradient Centralized Sharpness Aware Minimization
.png){kind=icon}
OA
AI
DOI：10.1109/ACCESS.2025.3624332.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
深度神经网络（DNNs）的泛化性能是在未见数据上实现稳健模型行为的关键因素。近期研究强调了基于陡峭度的度量在促进泛化方面的重要性，通过鼓励收敛到更平坦的极小值点。在这些方法中，陡峭度感知最小化（SAM）已作为一种有效的优化技术出现，用于降低损失景观的陡峭度，从而提升泛化性能。然而，SAM的计算开销以及对噪声梯度的敏感性限制了其可扩展性和效率。为解决这些挑战，我们提出了梯度中心化陡峭度感知最小化（GCSAM），该算法将梯度中心化（GC）融入其中，以稳定梯度和加速收敛。GCSAM在梯度上升步骤前对梯度进行归一化，减少了噪声和方差，并在训练过程中提高了稳定性。我们在通用视觉基准（CIFAR-10、CIFAR-100）和关键医学影像数据集（乳腺超声和COVID-19胸部X光片）上的评估表明，GCSAM在泛化性能和计算效率方面均持续优于SAM和Adam优化器。这些结果突显了GCSAM在需要稳健泛化的领域（尤其是在医学图像分析中）提升可靠性的潜力。我们的代码可在https://github.com/mhassann22/GCSAM获取。
Keyword:
Deep learning
generalization
gradient centralization
loss landscape
sharpness-aware minimization
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
