.png){kind=icon}
返回
Subspace Training Mitigates Gradient Noise Vulnerability
.png){kind=icon}
PRE
AI
DOI：10.1007/s11263-025-02598-x.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
子空间训练（ST）最近作为一种强大的技术出现，用于理论分析和实际改进深度神经网络（DNNs）的训练。最初被提出作为一种分析目标景观的工具，现已发现其对模型压缩、防止过拟合和对抗攻击等实际任务具有价值。ST背后的关键机制是通过将反向传播的梯度投影到低维子空间中来训练一个DNN。这项工作从新的视角揭示了ST；我们理论性地表明，ST可以缓解与梯度噪声相关的优化问题。为了展示ST的这一新颖方面，我们将ST整合到归一化随机梯度下降（NSGD）中，这是一种虽然被广泛使用但受梯度噪声困扰的优化技术。在视觉分类任务上，使用我们ST+NSGD训练的CNN进行的实验结果证明了该方法的实证有效性，补充了我们的主要理论分析。
Keyword:
Subspace training
Normalized stochastic gradient descent
Gradient noise
Deep neural networks
期刊
IF:
9.3
论文数:
3.9K
被引数:
2.8W
机构
暂无机构信息
引用论文
An introduction to Deep Learning in Natural Language Processing: Models, techniques, and tools自然语言处理中的深度学习: 模型、技术和工具.png)
NEUROCOMPUTING
NEUROCOMPUTINGIF6.5
PREAI
分享收藏分享收藏The MNIST Database of Handwritten Digit Images for Machine Learning Research [Best of the Web]用于机器学习研究的手写数字图像MNIST数据库 [Best of The Web]
PREAI
分享收藏Recent advances and clinical applications of deep learning in medical image analysis深度学习在医学图像分析中的研究进展及临床应用MEDICAL IMAGE ANALYSIS
OAAI
MEDICAL IMAGE ANALYSISIF11.8
OAAI分享收藏Low Dimensional Trajectory Hypothesis is True: DNNs can be Trained in Tiny Subspaces低维轨迹假设为真：DNNs可以在微小子空间中进行训练
PREAI
分享收藏Deep learning in bioinformatics: Introduction, application, and perspective in the big data eraMETHODS
OAAI
METHODSIF4.3
OAAI分享收藏
查看更多内容