.png){kind=icon}
返回
Smooth gradient loss: a loss function for gradient regularization in deep learning optimization
.png){kind=icon}
PRE
AI
DOI：10.1007/s11227-025-07954-9.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
损失函数在深度学习优化中起着关键作用，通过测量预测值与实际值之间的差异来指导模型训练过程。平滑梯度损失（SGL）函数被引入作为一种创新方法，旨在增强深度学习优化的稳定性和鲁棒性。传统的损失函数，如均方误差（MSE）和平均绝对误差（MAE），通常对异常值敏感且梯度不稳定，这可能阻碍其在大规模应用中的性能。SGL通过引入梯度惩罚项来解决这些问题，该惩罚项鼓励更平滑和更稳定的梯度更新。在包括MNIST和CIFAR-10在内的基准数据集上的经验评估表明，SGL不仅能加速收敛，还能提升泛化性能。值得注意的是，SGL需要高效计算二阶信息（Hessian-向量积），这在实践中仅在高性能计算（HPC）资源和并行化训练框架下才可行。这种联系突显了SGL对于超级计算环境的适用性，特别是在大规模和实时应用（如自主系统、医学成像和推荐引擎）中。理论分析进一步证实了SGL在保持梯度稳定性方面的优势，使其成为深度学习优化领域的一项稳健且与HPC相关的贡献。
Keyword:
Smooth Gradient Loss
Deep Learning
Gradient Regularization
Loss Function
Machine Learning Optimization
Regularization Techniques
期刊
T
IF:
0
论文数:
647
被引数:
0
机构
引用论文
A comprehensive qualitative and quantitative survey on image dehazing based on deep neural networks基于深度神经网络的图像去模糊定性与定量综合研究.png)
NEUROCOMPUTING
NEUROCOMPUTINGIF6.5
PREAI
分享收藏The MNIST Database of Handwritten Digit Images for Machine Learning Research [Best of the Web]用于机器学习研究的手写数字图像MNIST数据库 [Best of The Web]
PREAI
分享收藏
查看更多内容