.png){kind=icon}
返回
Parallelizing Sharpness-Aware Minimization: A Semi-asynchronous, Small-Batch Approach
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-04558-4_9.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
锐度感知最小化（SAM），旨在寻求损失景观的平坦最小值，已被证明能有效提升深度学习模型的泛化性能。然而，SAM本质上每步需要顺序计算两个梯度，导致训练开销翻倍，同时仍有性能提升的潜力。在本文中，我们提出了一种新颖的方法，可同时提升SAM的训练效率和泛化性能。我们的方法利用了以下重要观察：（1）具有小延迟的异步随机梯度下降（ASGD）梯度能在方向上与SAM梯度对齐并保持高效收敛，但难以匹配其规模并达到相当的泛化性能；（2）在ASGD中采用较小的批处理大小能增强泛化性能，对收敛影响较小，但会降低吞吐量。基于这些见解，我们提出了ParaS3AM，一种并行算法，通过一步延迟的ASGD近似SAM，同时利用较小的批处理大小提升泛化性能，而不会显著损失吞吐量。在多种数据集和架构上的实验表明，ParaS3AM优于现有最优基线，并实现了最优的性能-效率权衡。
Keyword:
SAM
ASGD
Batch Size
.png){kind=icon}
