.png){kind=icon}
返回
Magnitude Attention-based Dynamic Pruning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.eswa.2025.126957.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
现有剪枝方法通常依赖权重重要性来识别稀疏结构，但通常静态应用此信息，未在训练过程中自适应利用。在本工作中，我们提出了一种新颖的方法——基于幅值注意力的动态剪枝（MAP）方法，该方法将权重重要性应用于前向和后向路径，以动态探索稀疏模型结构。幅值注意力基于权重的幅值定义为连续实数值，通过促进高效探索，实现了从冗余网络到有效稀疏网络的平滑过渡。此外，注意力机制确保稀疏网络中对重要层进行更有效的更新。随后，我们的方法从探索转向利用，仅根据探索的结构更新由关键权重组成的稀疏模型，最终得到的剪枝模型不仅在性能上与密集模型相当，还在CIFAR-10/100和ImageNet数据集上优于以往的剪枝方法。
Keyword:
Model compression
Model pruning
Dynamic pruning
Deep learning
Optimization
期刊
IF:
7.5
论文数:
2.9W
被引数:
10.2W
.png){kind=icon}
没有更多内容