.png){kind=icon}
返回
Improving Post-Training Quantization via Probabilistic Programming
.png){kind=icon}
OA
AI
DOI：10.1109/TCSVT.2025.3588737.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
后训练量化（PTQ）是一种在资源受限的边缘设备上部署深度神经网络的有效解决方案。PTQ尤其具有吸引力，因为它不需要访问完整的原始训练数据集，而是承诺可以使用一个规模小得多的校准数据集。然而，许多现有的PTQ方法仍然需要足够大的校准数据集（例如，超过1000张图像）才能达到令人满意的模型精度。在本文中，我们提出了一种新颖的后训练量化方法，该方法使用贝叶斯最大后验（MAP）估计器来估计量化参数。通过量化操作的不确定性建模，我们将神经网络量化表述为一个贝叶斯推断问题。在我们的方法中，我们首先采用概率编程技术，通过最大化量化步长的后验概率来优化量化参数。此外，我们引入了一个最小描述长度（MDL）先验，该先验倾向于低量化位宽，并引入一个验证过程，该过程在从小型校准数据集学习时增强了PTQ性能。全面的评估表明，所提出的方法能够仅使用仅64张图像的最小校准数据集来改善PTQ性能，并达到接近最先进的PTQ性能。此外，所提出的方法在校准于不同数据源并在多样化数据上进行测试时显示出强大的泛化能力。
Keyword:
Post-training quantization
Bayesian optimization
probabilistic programming
期刊
IF:
11.1
论文数:
892
被引数:
3.1W
机构
引用论文
.png){kind=icon}
Improving the Post-Training Neural Network Quantization by Prepositive Feature Quantization通过预正向特征量化提升神经网络后训练量化
PREAI
分享收藏分享收藏Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference用于有效的仅整数算术推理的神经网络的量化和训练
OAAI
OAAI分享收藏
查看更多内容