Anisotropic Gaussian smoothing for gradient-based optimization

doi:10.1080/02331934.2026.2669816

2026-01-01

PRE

DOI：10.1080/02331934.2026.2669816

原文链接

原文求助

摘要

En 中文

本文介绍了一类新型的优化算法——各向异性高斯平滑梯度下降（AGS-GD）、各向异性高斯平滑随机梯度下降（AGS-SGD）和各向异性高斯平滑Adam（AGS-Adam），这些算法通过采用各向异性高斯平滑来增强传统的基于梯度的方法，包括GD、SGD和Adam。这些方法的主要目标是解决优化方法陷入次优局部极小值的问题，其通过用各向异性高斯平滑得到的非局部梯度替代标准梯度（该非局部梯度来自函数值的平均）。与各向同性高斯平滑（IGS）不同，AGS根据底层函数的性质调整平滑的方向性，更好地适应复杂的损失景观并改善收敛性。各向异性通过调整高斯分布的协方差矩阵计算得到，从而实现根据梯度行为定制方向平滑。该技术减轻了微小波动的影响，使算法更有效地接近全局极小值。我们提供了详细的收敛性分析，将结果从原始（未平滑）方法和IGS情况扩展到更一般的各向异性平滑，适用于凸和非凸的L-光滑函数。在随机设置下，这些算法收敛到一个噪声球，其大小由平滑参数决定。本文还概述了各向异性平滑的理论优势，并详细说明了其使用蒙特卡罗估计的实际实现，与现有的零阶优化技术一致。

Keyword:

Optimization

Gaussian smoothing

CMA

gradient descent

stochastic gradient descent