.png){kind=icon}
返回
TAMLU: A learnable activation function that autonomously discovers architectural structure
.png){kind=icon}
PRE
AI
DOI：10.1016/j.eswa.2026.133551.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
激活函数（AFs）用于神经网络中以引入非线性并近似连续函数，用于学习复杂模式。它们防止堆叠层坍缩为单个线性层。广泛采用的AFs采用固定的激活值，在所有层中均匀应用，而不考虑其在网络中的功能角色。我们提出Tanh-调制的线性单元（TAMLU），带有每层可学习的参数/3用于调制非线性。通过基于梯度的优化，TAMLU促进其非线性强度的自主校准，如通过在DenseNet-201、ResNet-50、ViT-Base/16和EfficientNet-B0中使用CIFAR-100和TinyImageNet-200进行的实证调查所示。随后，我们识别出三种现象：（1）自发的架构对齐参数组织允许/3自主发现宿主架构的粗略功能分类，无需监督；（2）TAMLU与PReLU之间的极性反转，其中对应的架构部分在五个数据集和两个优化器上具有高度一致性，收敛到相反的参数符号，验证了粗略功能发现，同时通过有界调制突出了TAMLU的优越表达能力；（3）条件两阶段方差动态在具有全局自注意力的大型视觉Transformer中特别出现，其中TAMLU表现出初始同步阶段，随后逐渐再分化，这一模式在CNN、窗口化注意力模型（Swin-T）和较小规模的ViT中不存在，表明全局注意力可能在优化期间促进层间隐式参数协调。TAMLU的理论性质的数学证明表明，它解决了现有AF的常见问题，如神经元死亡、梯度消失，并具有更好的梯度稳定性。广泛的实验结果证明了TAMLU在四个数据集上与最先进的AFs具有竞争性能。
Keyword:
Activation Function
Learnable Parameter
Tanh-Modulated Linear Unit
ReLU
Parametric Activation
GELU
Artificial Intelligence
Gradient-based Optimization
