.png){kind=icon}
返回
The Optimal Condition Number for ReLU Function
.png){kind=icon}
PRE
AI
DOI：10.1109/TIT.2025.3633042.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
ReLU是深度神经网络中广泛使用的激活函数。本文探讨了ReLU映射的稳定性特性。对于任意权重矩阵A∈R^(m×n)和偏置向量b∈R^m，在给定层中，我们定义条件数κ(A,b)为κ(A,b)=U_A,U_b/L_A,L_b，其中U_A,U_b和L_A,L_b分别是上、下Lipschitz常数。我们首先证明对于任意给定的A和b，条件数满足√κ(A,b)≥√2。此外，当网络在给定层的权重初始化为随机独立同分布的Gaussian变量且偏置项设为零时，条件数渐近接近这一下界。我们的发现为随机初始化神经网络的特性提供了有价值的见解，有助于更好地理解其初始行为和潜在性能。
Keyword:
Lower bound
Vectors
Standards
Nonlinear distortion
Upper bound
Linear matrix inequalities
Biological neural networks
Asymptotic stability
Artificial neural networks
Thermal stability
ReLU
condition number
bi-Lipschitz constants
random initialization
期刊
I
IF:
2.9
论文数:
317
被引数:
0
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容