.png){kind=icon}
返回
Hardware-Efficient Unified Approximation for Implementing Diverse Smooth Activation Functions
.png){kind=icon}
PRE
AI
DOI：10.1109/TC.2026.3661496.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
平滑激活函数如Swish、GELU和Tanhexp等已作为ReLU的有效替代方案出现，缓解了诸如ReLU神经元死亡和梯度消失等问题，同时提高了训练稳定性和精度。然而，它们的计算复杂度给高效硬件实现带来了显著挑战。此外，尽管这些函数在结构上相似，现有硬件实现仍将每个平滑激活函数独立处理，导致冗余且成本高昂的设计。本文提出了一种统一且硬件高效的近似框架，利用单一参数化多项式形式对多种平滑激活函数进行建模。通过调整少量参数，该框架能在保持功能特性（包括精度和收敛速度）的同时近似各种平滑激活函数。所提出的实现仅需两个乘法器和1个加法器，与传统的查找表（LUT）设计方案相比，面积减少高达87%，能耗节省86%。在多个神经网络上的实验验证表明，近似后的激活函数并未降低精度。由于该框架的通用性和高效性，它特别适用于混合激活函数的神经网络架构以及硬件感知的神经网络架构搜索。
Keyword:
Hardware-efficient accelerator
Smooth activation approximation
Unified approximation framework
期刊
IF:
3.8
论文数:
5.3K
被引数:
9.8K
机构
引用论文
MLG-NCS: Multimodal Local-Global Neuromorphic Computing System for Affective Video Content Analysis
PREAI
分享收藏High-Precision and Efficiency Hardware Implementation for GELU via Its Internal Symmetry基于内部对称性的GELU高精度与高效硬件实现.png)
ELECTRONICS
OAAI
ELECTRONICSIF2.6
OAAI分享收藏Hardware-Efficient SoftMax Architecture With Bit-Wise Exponentiation and Reciprocal Calculation具有逐位求幂和倒数计算的硬件高效SoftMax架构
PREAI
分享收藏
查看更多内容