返回
Resource-Efficient and Layer Interdependence-Aware CNN Pruning Leveraging Filter Replacement
DOI:10.1109/tnnls.2026.3658318.png)
摘要
En 中文
卷积神经网络(CNN)剪枝传统上依赖启发式设计的重要性准则,往往导致泛化能力有限和性能不一致。在本文中,我们提出了一种以filter replacement(FR)为中心的新型框架,将剪枝引入为用零滤波器替换选定滤波器的过程。通过严格分析,我们推导出后续层输出绝对误差的上界,并使用该界定义了一个高效的重要性函数。该重要性函数表现出$\gamma $ -弱次模性质,使得能够开发一种简单、低复杂度且数据无关的盲目算法来选择要剪枝的滤波器。此外,我们将FR框架扩展以包括非零滤波器替代方案,利用最佳逼近技术构建被剪枝滤波器的最优替代。在基准网络和数据集上的广泛实验验证了我们的方法的有效性。所提出的方法实现了最先进的结果,其复杂度与$l_{2}$ -范数剪枝等基础技术相当。值得注意的是,我们的剪枝方法在ImageNet数据集上的ResNet-50中达到76.52%的准确率(ACC),超过了75.15%的基线,同时将网络参数减少了25.5%。我们提出的资源效率(RE)指标评估表明,层间依赖感知剪枝(LIAP)方法比现有技术高效$10^{11}$ 倍,为资源感知CNN剪枝设定了新标准。
Keyword:
Best approximation
convolutional neural networks (CNNs)
filter pruning
model compression methods
期刊
IF:
8.9
论文数:
7.6K
被引数:
7.2W
机构
引用论文
HRel: Filter pruning based on High Relevance between activation maps and class labels
NEURAL NETWORKS
IF6.3
RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output MergingRED++:基于输入分割和输出合并的数据无关深度神经网络剪枝

