.png){kind=icon}
返回
Network slimming using Lp(p < 1) regularization
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2025.111711.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
卷积神经网络（CNNs）需要巨大的计算资源，这使得它们在电池供电设备上的部署具有挑战性。通道剪枝通过减小模型尺寸提供了一种实用解决方案，以促进高效部署。在各种剪枝方法中，L-0正则化是一种识别稀疏子网络的有效方法。然而，直接求解该问题属于NP难问题。为克服这一挑战，我们使用p < 1的L-p正则化近似L-0范数，并采用乘子交替方向法（ADMM）求解相应的优化问题。由于L-p正则化项引入了非凸子问题，我们对其进行线性化，以将子问题转化为凸优化问题。然而，当模型参数接近零时，L-p范数过度增长，导致ADMM不收敛。为解决此问题，我们引入了一种突触抑制机制来抑制L-p正则化项的过度增长，确保ADMM算法收敛。在CIFAR、ImageNet和GLUE基准数据集上的实验表明，我们的方法在通道剪枝方面达到了当前最优性能。
Keyword:
Channel pruning
Alternating direction method of multipliers
Efficient inference
L-p(p < 1) regularization
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
.png){kind=icon}
查看更多内容