.png){kind=icon}
返回
Coding schemes in neural networks learning classification tasks
.png){kind=icon}
OA
AI
DOI：10.1038/s41467-025-58276-6.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
神经网络具备生成与任务相关特征的有意义表示的关键能力。事实上，通过适当的缩放，神经网络的监督学习可以产生强大的、任务相关的特征学习。然而，涌现表示的性质仍然不明确。为了理解学习对表示的影响，我们使用贝叶斯框架研究了全连接、宽神经网络学习分类任务的情况，其中学习塑造了网络权重的后验分布。与先前发现一致，我们对特征学习阶段（也称为“非惰性”阶段）的分析表明，网络获得了强大的、数据相关的特征，即编码方案，其中神经元对每个输入的响应主要由其类别成员决定。令人惊讶的是，编码方案的性质在很大程度上取决于神经元的非线性。在线性网络中，任务的一个模拟编码方案出现；在非线性网络中，强烈的自发性对称性破缺会导致冗余或稀疏编码方案。我们的发现强调了网络属性（如权重的缩放和神经元的非线性）如何深刻影响涌现表示。
Keyword:
STATISTICAL-MECHANICS
STORAGE CAPACITY
ALGORITHMS
期刊
IF:
15.7
论文数:
9.3W
被引数:
91.2W
机构
暂无机构信息
引用论文
Separation of scales and a thermodynamic description of feature learning in some CNNs.png)
NATURE COMMUNICATIONS
OAAI
NATURE COMMUNICATIONSIF15.7
OAAI分享收藏
查看更多内容