DFMC: Feature-Driven Data-Free Knowledge Distillation

Zherui Zhang

doi:10.1109/TCSVT.2025.3565616

DFMC: Feature-Driven Data-Free Knowledge Distillation

0

PRE

AI

DOI：10.1109/TCSVT.2025.3565616

原文链接

原文求助

摘要

En 中文

数据无感知知识蒸馏（DFKD）实现了从教师网络向学生网络的知识迁移，而无需访问真实数据集。然而，基于生成器的DFKD方法通常因合成图像的多样性不足或置信度低而影响学生网络的性能。本文引入了DFMC，一种生成特征驱动的框架，旨在缓解DFKD的固有局限性。我们提出利用生成特征域之间的语义描述来指导增强策略，以避免因语义质量不一致导致的随机抽象输入。随后，通过向生成特征添加噪声，我们间接生成了对比学习对，限制特征域的采样范围，以鼓励学生网络学习领域不变的特征。最后，我们引导学生网络深度模拟教师网络对增强合成图像的逐层隐式分类行为。在多个数据集和下游任务上的广泛实验证明了DFMC的有效性，其在实现显著性能提升的同时，避免了学生网络对语义模糊图像的过拟合。

Keyword:

Data-free knowledge distillation

feature augmentation

contrastive learning

DFMC: Feature-Driven Data-Free Knowledge Distillation

摘要

期刊

机构

引用论文