Efficient network compression via gradient-score aware pruning

Qiuying Li

doi:10.1016/j.neucom.2025.131870

Efficient network compression via gradient-score aware pruning

2025-10-27

0

PRE

AI

DOI：10.1016/j.neucom.2025.131870

原文链接

原文求助

摘要

En 中文

卷积神经网络（CNNs）在计算机视觉领域取得了显著成就，但其高计算需求限制了实际应用。当前剪枝方法旨在缓解这一问题，然而这些方法通常依赖启发式手动方法，在同时保持显著模型压缩和精度方面面临挑战。为解决上述问题，本文提出了一种快速神经网络架构搜索剪枝（FNP）技术。首先，基于重要性矩阵（IM）的预处理阶段通过同时考虑权重重要性和计算复杂度，高效地移除冗余结构，为后续剪枝提供紧凑的基准模型。其次，我们采用快速遗传算法（FGA）来识别最优剪枝模型配置。此外，为加速搜索过程，我们利用零样本学习方法，通过基于梯度的帧分数（SoF）来估计模型性能。与当前最优（SOTA）剪枝技术相比，FNP在搜索时长和压缩率方面展现出更优性能。在CIFAR-10数据集上，本方法移除了VGG-16中95.24%的参数，相较于基准模型提升了0.72%的精度；在ImageNet数据集上，我们剪枝了ResNet-50中68.98%的参数，相较于当前最优（SOTA）方法提升了1.2%的精度，同时将搜索时间减少了98.94%。代码可在https://github.com/aqiu/FNP.git获取。

Efficient network compression via gradient-score aware pruning

摘要

期刊

机构

引用论文