.png){kind=icon}
返回
Spatial Re-Parameterization for N:M Sparsity
.png){kind=icon}
OA
AI
DOI：10.1109/TPAMI.2025.3572240.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文提出了一种用于N:M稀疏性的空间重参数化（SpRe）方法。SpRe源于对N:M稀疏性中卷积核空间稀疏性有限多样性的观察，与无结构稀疏性相比。具体而言，由于N:M稀疏性具有一种独特的模式，要求在卷积滤波器的输入通道维度中，M个连续权重中有N个非零分量，因此N:M稀疏性在空间域内表现出固定的稀疏率。相反，我们观察到传统的无结构稀疏性在空间域内表现出显著的稀疏性差异，并通过实验验证了这一点对于其相比N:M稀疏性更稳健的性能保持至关重要。因此，SpRe在训练时通过为原始N:M分支分配一个额外分支来采用无结构稀疏性的空间稀疏性分布，这使得N:M稀疏网络能够维持与无结构稀疏性相似的空间稀疏分布。在推理阶段，额外分支可以进一步重参数化为主要的N:M分支，而不会对稀疏模式产生任何失真或增加额外的计算成本。SpRe通过在多个基准测试中将N:M稀疏性方法的性能与最先进的无结构稀疏性方法相匹配，取得了可喜的成果。我们的项目可在https://github.com/zyxxmu/SpRE获取。
Keyword:
Convolutional neural networks
network sparsity
N:M sparsity
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
An Algorithm–Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers一种用于加速N:M稀疏变压器的算法-硬件协同优化框架OAAI
OAAI分享收藏SparseRT.png)
Proceedings of the ACM International Conference on Parallel Architectures and Compilation Techniques
OAAI
Proceedings of the ACM International Conference on Parallel Architectures and Compilation TechniquesIF0
OAAI分享收藏分享收藏
查看更多内容