TUNABLE SQUASHING ACTIVATION FUNCTION FOR DEEP NEURAL NETWORKS

Shafronenko, A. Yu.

doi:10.15588/1607-3274-2026-1-5

TUNABLE SQUASHING ACTIVATION FUNCTION FOR DEEP NEURAL NETWORKS

2026-01-01

0

PRE

AI

S

Shafronenko, A. Yu. *

DOI：10.15588/1607-3274-2026-1-5

原文链接

原文求助

摘要

En 中文

背景。目前，人工神经网络已广泛应用于解决各种信息处理问题，尤其是数据挖掘，这得益于其通用逼近能力和学习参数-突触权重的能力。训练多层网络的过程包括使用误差反向传播程序调整每个神经元的突触权重，该程序基于复杂函数的微分链式法则和基于梯度的优化。深度神经网络基于多层感知器，已在解决与各种性质图像的处理和合成、自然语言文本、多维随机和混沌序列（包括音频和视频信号）相关的大量复杂问题中证明其有效性。与经典的三层感知器不同，DNNs包含数十到数百层，其突触权重的数量与生物脑中的突触数量相当甚至超过。显然，对于这些神经网络，梯度消失效应是极不希望的；因此，通常使用分段线性构造代替传统压缩函数，其中最流行的是所谓的ReLU。目标。本文的目的是引入一种基于最常用的分段线性函数ReLU的深度神经网络自适应激活函数。方法。基于最常用的分段线性函数ReLU，提出了一种新的可调激活函数，该函数虽然不满足G. Cybenko逼近定理的条件，但为学习过程提供了对梯度消失效应的保护。结果。引入了一种基于ReLU的新自适应分段线性函数，该函数既是压缩性的，又能防止梯度消失。在这种情况下，训练过程中不仅调整网络的突触权重，还调整激活函数本身的参数。使用所提出的函数可以减少神经网络中的神经元和隐藏层数量、所需训练样本的数量以及设置网络所需的时间。结论。引入了一种基于广泛使用的ReLU的深度神经网络自适应压缩激活函数，该函数兼具通用逼近特性和防止梯度消失的能力。提出了使用该函数的训练过程，提供高性能和简单的数值实现。一个用于调整激活函数参数的附加电路可以相当简单地引入到现有的使用分段线性激活函数的深度神经网络中。

Keyword:

squashing activation function

deep neural network

ReLU

gradient procedures

training signal

TUNABLE SQUASHING ACTIVATION FUNCTION FOR DEEP NEURAL NETWORKS

摘要

期刊

机构

引用论文