.png){kind=icon}
返回
Label-enhanced contrastive knowledge distillation
.png){kind=icon}
PRE
AI
DOI：10.1007/s10115-025-02654-5.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
现有知识蒸馏方法通常从数据中提取丰富的特征信息，以促进从大型教师模型向轻量级学生网络的迁移学习。然而，由于实例样本间存在共享语义信息和重叠关系，此类复杂的特征表示变得高度纠缠。这增加了特征到标签的映射难度，最终导致蒸馏后学生模型的性能欠佳。为解决此问题，我们提出了一种新颖的标签增强对比知识蒸馏（LCKD）方法，该方法在重构特征与标签耦合关系的同时，深入探索完整且可靠的知识迁移过程。具体而言，我们设计了一种自适应标签插值策略，动态地为每个训练批次中的数据分配唯一的虚拟标签。在我们构建的非重叠标签空间中，通过结合全局和局部阈值来提升伪标签的置信度，从而创建更平滑的映射景观。此外，伪标签提供logit级监督，而对比对齐强制执行特征级一致性。这一多级过程使学生模型能够缓解源于教师模型主观性的知识损失与模糊性，进而降低整个蒸馏过程中的偏差。在图像分类任务上的大量实验验证了所提LCKD方法的有效性。我们在CIFAR-100、CIFAR-10、STL-10、Stanford Dogs、Tiny ImageNet和ImageNet数据集上的测试结果超越了现有知识蒸馏方法的最佳水平（SOTA）。此外，全面的消融研究也证实了本方法的有效性。
Keyword:
Knowledge distillation
Label enhancement
Contrastive learning
Classification
期刊
IF:
3.1
论文数:
568
被引数:
5.2K
机构
引用论文
分享收藏Knowledge distillation-driven semi-supervised multi-view classification知识蒸馏驱动的半监督多视图分类.png)
INFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏Knowledge distillation meets recommendation: collaborative distillation for top-N recommendation知识蒸馏与推荐：用于Top-N推荐的协同蒸馏
PREAI
分享收藏
查看更多内容