Improving data-free quantization with confidence-guided data synthesis

Deok-Woong Kim

doi:10.1016/j.icte.2026.03.021

2026-04-16

Deok-Woong Kim

Seung‐Hwan Bae *

DOI：10.1016/j.icte.2026.03.021

原文链接

查看原文

摘要

En 中文

无数据量化（DFQ）实现了无需真实数据的模型量化。因此，DFQ的精度很大程度上受生成样本的影响。然而，我们发现全精度模型对真实样本和合成样本预测的置信度分布存在显著差异，这种分布差异损害了量化精度。为解决此问题，我们在合成数据生成过程中引入熵正则化，使其更接近真实数据。此外，在量化感知训练期间，我们提出缩放对数概率对齐以弥合模型间的表示差距。我们的方法在ViT、CNN和目标检测器架构上，相比最新的DFQ方法取得了更优的性能。

Keyword:

Data-free quantization

Zero-shot quantization

Model quantization

Model compression

AI总结

对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

期刊

ICT Express

IF:

4.2

论文数:

1.0K

被引数:

2.5K

机构

暂无机构信息

引用论文

Hard Sample Matters a Lot in Zero-Shot Quantization

2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

IF0

2023-06-01

OAAI

Huantong Li; Xiangmiao Wu; Fanbing Lv; Daihai Liao; Thomas H. Li; Yonggang Zhang; Bo Han; Mingkui Tan

IF0

PREAI

ImageNet Large Scale Visual Recognition Challenge ImageNet大规模视觉识别挑战

INTERNATIONAL JOURNAL OF COMPUTER VISION

IF9.3

2015-04-11

2.7W

PREAI

Russakovsky, Olga; Deng, Jia; Su, Hao; Krause, Jonathan; Satheesh, Sanjeev; Ma, Sean; Huang, Zhiheng; Karpathy, Andrej; Khosla, Aditya; Bernstein, Michael; Berg, Alexander C.; Fei-Fei, Li

Mask R-CNN 面具r-cnn

2017 IEEE International Conference on Computer Vision (ICCV)

IF0

2017-10-01

PREAI

Kaiming He; Georgia Gkioxari; Piotr Dollar; Ross Girshick

ZeroQ: A Novel Zero Shot Quantization Framework

2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

IF0

2020-06-01

OAAI

Yaohui Cai; Zhewei Yao; Zhen Dong; Amir Gholami; Michael W. Mahoney; Kurt Keutzer