Variance-Guided Structured Pruning for Optimized Convolutional Neural Networks

doi:10.1007/978-3-031-97663-6_20

Variance-Guided Structured Pruning for Optimized Convolutional Neural Networks

2026-01-01

1

PRE

AI

DOI：10.1007/978-3-031-97663-6_20

原文链接

原文求助

摘要

En 中文

深度学习（DL）改变了多个领域的发展格局，但其高计算需求使其在资源受限环境下难以应用。为解决这些限制，本文提出了一种新颖的结构化剪枝方法，该方法利用基于方差的阈值在训练过程中动态识别并移除非显著滤波器。与永久删除滤波器的传统剪枝方法不同，我们的方法采用软剪枝策略，通过暂时停用低激活方差的滤波器并设置其权重为零，同时保留原始网络结构。我们保留各层中对总方差贡献达到固定百分比的滤波器，剪枝其余部分。尽管方差百分比固定，但剪枝阈值在各层间有所不同。值得注意的是，被剪枝的滤波器仍保留在网络上，但不再更新，因为其梯度被屏蔽为零。在CIFAR-10、CIFAR-100和Tiny ImageNet数据集上的实验评估表明，该方法在几乎不影响精度的前提下，将计算成本降低了约58.09%。

Keyword:

Deep Learning

Resource-constrained AI

Neural network pruning

Structured pruning

Variance

train-time pruning

Variance-Guided Structured Pruning for Optimized Convolutional Neural Networks

摘要

期刊

机构

引用论文