.png){kind=icon}
返回
Entropy-Guided Search Space Optimization for Efficient Neural Network Pruning
.png){kind=icon}
PRE
AI
DOI：10.3390/a18120736.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
神经网络剪枝对于在资源受限设备上部署深度学习模型至关重要，它通过降低计算和内存需求来实现这一目标。在本文中，我们提出了一种新颖的剪枝框架——基于熵引导搜索空间优化的高效神经网络剪枝，该框架利用信息熵来评估卷积层的重要性。具体而言，我们计算预训练权重的逐层熵值，应用异常值检测以剔除极端值，并对熵值进行归一化处理。这些归一化值用于指导保留比例的选择，确保熵值较高的层保留更多的滤波器。通过优化子网络搜索空间，我们的方法提升了搜索过程的效率，并改善了子网络的整体性能。优化的搜索空间能够聚焦于更有前景的区域，从而减少计算开销，生成质量更高的剪枝网络。通过迭代优化，识别出最优子网络并对其进行微调，以生成最终的剪枝模型。在基准数据集上的实验结果表明，我们的方法显著优于现有的剪枝方法，在准确率和计算效率两方面均实现了显著提升。这种基于熵引导的剪枝策略为神经网络压缩提供了一种稳健且有效的解决方案，适用于广泛的深度学习应用。
Keyword:
information entropy
neural network pruning
search space
object detection
subnetwork search
期刊
IF:
2.1
论文数:
654
被引数:
5.4K
机构
引用论文
DKA-YOLO: Enhanced Small Object Detection via Dilation Kernel Aggregation Convolution ModulesDka-yolo: 通过膨胀核聚合卷积模块增强小物体检测.png)
IEEE ACCESS
OAAI
IEEE ACCESSIF3.6
OAAI分享收藏分享收藏Channel Pruning Method Based on Decoupling Feature Scale Distribution in Batch Normalization Layers批量归一化层中基于解耦特征尺度分布的信道剪枝方法IEEE ACCESSOAAI
IEEE ACCESSIF3.6
OAAI分享收藏
查看更多内容