.png){kind=icon}
返回
Compositional Function Spaces for Deep Learning
.png){kind=icon}
PRE
AI
DOI：10.1137/25M1802948.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
我们提出了一种变分框架，用于研究深度神经网络中学习的函数，该网络采用整流线性单元非线性激活函数。我们引入了一个由二阶Radon域有界变差函数的复合构成的函数空间。这些函数的复合形式捕捉了深度神经网络的结构。我们证明了表示定理，表明具有有限宽度的深度神经网络可以求解该空间上的正则化数据拟合问题。临界宽度由训练数据数量的平方控制。这一视角解释了神经网络训练中权重衰减正则化的作用、跳跃连接的重要性以及稀疏性在神经网络中的角色。通过考虑函数空间视角，我们提供了深度学习与变分方法之间的精确联系。
Keyword:
deep learning
neural networks
regularization
representer theorem
sparsity
期刊
IF:
6.1
论文数:
888
被引数:
1.2W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容