An Efficient Bit-Sparse DNN Accelerator Exploiting Adaptive Bit-Serial Computations

doi:10.1109/TCAD.2025.3560584

An Efficient Bit-Sparse DNN Accelerator Exploiting Adaptive Bit-Serial Computations

2025-04-15

0

PRE

AI

DOI：10.1109/TCAD.2025.3560584

原文链接

原文求助

摘要

En 中文

位稀疏性作为二进制表示的固有属性，已被广泛应用于深度神经网络（DNN）推理加速。尽管现有基于位串行（bit-serial-based）的位稀疏加速器在性能和能效方面展现出优势，但它们仍面临两个显著局限性：1）在低层位串行乘法器层面，现有方法要么在设计阶段静态选择权重或激活作为串行对象，要么简单地同时串行两者，而未考虑不同操作数中非零位的分布，从而无法实现最优性能；2）在高层数据流层面，现有方法未能消除数据移动和计算中的零值，导致显著的能量和延迟开销，以及次优的PE利用率。本文提出AdaS-Pro加速器，用于实现快速且能效高的DNN推理。在乘法器层面，AdaS-Pro采用自适应位串行计算方案，在运行时动态串行非零位较少的输入操作数，从而最小化计算周期。为进一步提升性能，AdaS-Pro引入改进的Booth编码方法以减少每个操作数中的非零位数量。在数据流层面，AdaS-Pro采用压缩格式消除零值，并提出双向内连接单元（bi-directional inner-join unit）结合环形调度器，以实现高效的非零工作负载提取与平衡。实验结果表明，AdaS-Pro在性能上优于现有的先进位稀疏加速器，如BitLet、BitX和Laconic，性能提升分别达到4.03倍、6.78倍和1.43倍。

Keyword:

Adaptive bit-serial computation

bit sparsity

DNN accelerator

An Efficient Bit-Sparse DNN Accelerator Exploiting Adaptive Bit-Serial Computations

摘要

期刊

机构

引用论文