arrow
返回

Resource-Efficient and Layer Interdependence-Aware CNN Pruning Leveraging Filter Replacement

delete2026-02-10
delete0
PRE
AI
S
Sadegh Tofigh
M
Mohammad Askarizadeh
M
M. Omair Ahmad
M
M.N.S. Swamy
K
Kim Khoa Nguyen
DOI:10.1109/tnnls.2026.3658318delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
卷积神经网络(CNN)剪枝传统上依赖启发式设计的重要性准则,往往导致泛化能力有限和性能不一致。在本文中,我们提出了一种以filter replacement(FR)为中心的新型框架,将剪枝引入为用零滤波器替换选定滤波器的过程。通过严格分析,我们推导出后续层输出绝对误差的上界,并使用该界定义了一个高效的重要性函数。该重要性函数表现出$\gamma $ -弱次模性质,使得能够开发一种简单、低复杂度且数据无关的盲目算法来选择要剪枝的滤波器。此外,我们将FR框架扩展以包括非零滤波器替代方案,利用最佳逼近技术构建被剪枝滤波器的最优替代。在基准网络和数据集上的广泛实验验证了我们的方法的有效性。所提出的方法实现了最先进的结果,其复杂度与$l_{2}$ -范数剪枝等基础技术相当。值得注意的是,我们的剪枝方法在ImageNet数据集上的ResNet-50中达到76.52%的准确率(ACC),超过了75.15%的基线,同时将网络参数减少了25.5%。我们提出的资源效率(RE)指标评估表明,层间依赖感知剪枝(LIAP)方法比现有技术高效$10^{11}$ 倍,为资源感知CNN剪枝设定了新标准。
Keyword:
Best approximation
convolutional neural networks (CNNs)
filter pruning
model compression methods

期刊

IEEE Transactions on Neural Networks and Learning Systems 封面图
IEEE Transactions on Neural Networks and Learning Systems
IF:
8.9
论文数:
7.6K
被引数:
7.2W

机构

U
university of quebec
学者数:
2.0W
论文数: 1.9W
被引数: 19
C
Concordia University
学者数:
1.1K
论文数: 599
被引数: 125
引用论文

引用论文

err分享
err收藏
err分享
err收藏
HRel: Filter pruning based on High Relevance between activation maps and class labels
err2022-03-01
err30
errOAAI
errSarvani, C. H.; Ghorai, Mrinmoy; Dubey, Shiv Ram; Basha, S. H. Shabbeer
err分享
err收藏
err
IF0
err
err0
PREAI
err
err分享
err收藏
Best Approximation in Inner Product Spaces
err
IF0
err2001-01-01
err0
PREAI
errFrank Deutsch
err分享
err收藏
Filter Sketch for Network Pruning用于网络修剪的过滤器草图
err2022-12-01
err55
errOAAI
errLin, Mingbao; Cao, Liujuan; Li, Shaojie; Ye, Qixiang; Tian, Yonghong; Liu, Jianzhuang; Tian, Qi; Ji, Rongrong
err分享
err收藏
HRank: Filter Pruning Using High-Rank Feature Map
err2020-06-01
err0
errOAAI
errMingbao Lin; Rongrong Ji; Yan Wang; Yichen Zhang; Baochang Zhang; Yonghong Tian; Ling Shao
err分享
err收藏
学者 查看更多内容