.png){kind=icon}
返回
Exploration and generalization in deep learning with SwitchPath activations
.png){kind=icon}
PRE
AI
DOI：10.1007/s10994-025-06840-y.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本研究对SwitchPath进行了一项全面的理论和实证分析，SwitchPath是一种通过概率性地在神经元的标准激活及其否定之间切换来改善学习动态的随机激活函数。我们建立了理论基础，并在多种场景中展示了其影响。通过保持梯度流动并注入可控的随机性，该方法提升了泛化能力、不确定性估计和训练效率。分类实验表明，该方法在CNN和Vision Transformers上相比ReLU和Leaky ReLU取得了持续的提升，同时降低了过拟合并改善了测试准确率。在生成模型中，一种新颖的两阶段训练方案显著缓解了模态崩溃并加速了收敛。我们的理论分析揭示，SwitchPath引入了一种乘性噪声，其作用类似于结构正则化器。额外的实证调查表明，该方法改进了信息传播并降低了模型复杂度。这些结果确立了该激活机制作为一种简单而有效的方法，用以增强现代神经网络中的探索、正则化和可靠性。
Keyword:
Deep learning
Neural network algorithms
Generative networks
期刊
IF:
2.9
论文数:
2.7K
被引数:
3.4W
机构
引用论文
Natural brain state change with E/I balance shifting toward inhibition is associated with vigilance impairment.png)
iScience
OAAI
iScienceIF0
OAAI分享收藏"Why Should I Trust You?"“我为什么要相信你？”Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining
Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data MiningIF0
PREAI
分享收藏分享收藏分享收藏Inhibitory Plasticity Balances Excitation and Inhibition in Sensory Pathways and Memory NetworksScience
OAAI
ScienceIF0
OAAI分享收藏分享收藏
查看更多内容