.png){kind=icon}
返回
CoLeQ: Improving Data-Free Quantization via Contrastive Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/TMM.2025.3645611.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
模型量化是一种有效降低神经网络复杂度的方法，使其能够在资源受限的边缘设备上部署。最近，无数据量化得到了广泛研究，因为它无需访问原始数据集，并能解决普遍存在的数据隐私和安全问题。其思想是依据全精度（FP）模型中的先验信息生成假数据，然后在FP模型的监督下用这些数据微调量化模型。然而，量化性能高度依赖于生成数据的有效性，现有方法存在两种严重问题：模式坍塌和（灾难性）示例遗忘，导致明显的精度下降。在本文中，我们提出了对比学习量化（CoLeQ），通过对比学习实现数据多样性增强和旧知识恢复，以解决上述问题。具体而言，我们引入MoCo范式，为无数据量化维护一个动态动量队列，用于存储编码后的特征。对比学习目标通过促进生成样本与之前小批次中已生成样本的分离来提高数据多样性，从而缓解模式坍塌问题。此外，我们设计了一个共享权重的解码器，无需额外参数和训练即可从队列中的编码特征恢复先前样本，因此能经济有效地防止示例遗忘问题。我们进行了大量实验评估CoLeQ的有效性，结果表明其性能持续优于当前最优方法。
Keyword:
Model compression
quantized neural networks
data-free quantization
contrastive learning
期刊
IF:
9.7
论文数:
4.5K
被引数:
2.4W
机构
引用论文
.png){kind=icon}
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks更快的r-cnn: 基于区域建议网络的实时目标检测
OAAI
OAAI分享收藏
EntAugment: Entropy-Driven Adaptive Data Augmentation Framework for Image ClassificationEntAugment: 一种基于熵驱动的自适应数据增强框架，用于图像分类
PREAI
分享收藏
查看更多内容