.png){kind=icon}
返回
Towards Scalable Backpropagation-Free Gradient Estimation
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-4972-6_3.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
尽管反向传播（即反向模式自动微分）在深度学习中取得了巨大成功，但它需要通过神经网络进行两次传递（正向和反向）并存储中间激活值。现有的使用正向模式自动微分的梯度估计方法由于估计值的高方差，难以扩展到小型网络之外。为缓解这一问题所做的努力迄今为止都引入了显著的偏差，降低了这些估计值的有用性。我们介绍了一种梯度估计方法，通过在计算猜测方向时操纵上游雅可比矩阵来同时降低偏差和方差。该方法显示出有前景的结果，并且具有扩展到更大网络的潜力，实际上随着网络宽度的增加表现更优。我们对该方法的深入理解得益于对偏差和方差的分析，以及它们与神经网络梯度低维结构的联系。
Keyword:
Optimisation
Low-rank gradient subspace
Forward-mode differentiation
Automatic differentiation
Deep learning
期刊
A
IF:
0
论文数:
31
被引数:
0
.png){kind=icon}
