Efficient Distortion-Minimized Layerwise Pruning

doi:10.1109/TPAMI.2025.3586418

Efficient Distortion-Minimized Layerwise Pruning

0

PRE

AI

DOI：10.1109/TPAMI.2025.3586418

原文链接

原文求助

摘要

En 中文

在本论文中，我们提出了一种后训练剪枝框架，通过联合优化逐层剪枝来最小化模型输出失真。通过理论分析和实证分析，我们发现DNN中剪枝权重/通道所产生的输出失真具有一个重要的可加性特性。利用这一特性，我们将剪枝优化重新表述为一个组合问题，并使用动态规划求解，实现了线性时间复杂度，使算法在CPU上运行非常快速。此外，我们采用基于Hessian的泰勒近似优化由可加性派生的失真，以提高剪枝效率，并辅以细粒度的复杂度降低技术。我们的方法在多种DNN架构上进行了评估，包括CNN、ViT和目标检测器，以及在CIFAR-10和ImageNet上的图像分类、3D目标检测等视觉任务和各种数据集上进行了测试。我们在显著减少计算量（FLOPs）的同时没有损失精度，实现了SoTA。具体而言，在CIFAR-10上，我们在ResNet-32、VGG-16和DenseNet-121上分别实现了最高$27.9\times$、$29.2\times$和$14.9\times$的FLOPs减少。在ImageNet上，我们在ResNet-50和DeiT-Base上分别实现了$1.69\times$和$2\times$的FLOPs减少，且未观察到精度损失。对于3D目标检测，我们在CenterPoint和PVRCNN模型上分别实现了$\mathbf {3.89}\times, \mathbf {3.72}\times$的FLOPs减少。这些结果表明，我们的方法通过逐层自适应权重剪枝提高模型性能是有效且实用的。

Keyword:

Deep learning

model compression

post-training pruning

rate-distortion theory

dynamic programming

Efficient Distortion-Minimized Layerwise Pruning

摘要

期刊

机构

引用论文