TCKD: Task-Oriented Contrastive Knowledge Distillation for Object Detection

doi:10.1109/tmm.2026.3673559

TCKD: Task-Oriented Contrastive Knowledge Distillation for Object Detection

2026-03-12

0

PRE

AI

DOI：10.1109/tmm.2026.3673559

原文链接

原文求助

摘要

En 中文

现有基于预测的知识蒸馏方法在目标检测中，其蒸馏损失与优化目标之间存在错位问题，这阻碍了关键知识的有效转移，并严重限制了学生的性能提升。为解决此挑战，我们提出了一种新颖的任务导向知识蒸馏（TCKD）方法，通过两种高效的蒸馏损失传递分类和回归知识：基于类别的对比蒸馏损失（CCDL）用于分类，基于点位的对比蒸馏损失（PCDL）用于回归。具体而言，CCDL基于类别预测构建正负样本，并在样本间建立类内一致性和类间差异性，从而引导模型有效聚焦于对象与其对应类别对齐的区域。PCDL利用不同空间位置的采样点生成正负样本，并通过相似度计算捕捉更精细的定位差异。此外，PCDL采用的背景抑制策略有效减少了背景噪声，缓解了前景与背景之间的分布不平衡。在MS COCO2017、visDrone2019和TinyPerson基准上的大量实验表明，TCKD不仅在大规模数据集和具有挑战性的小目标数据集上取得优越性能，还能适应各种检测器。

Keyword:

Contrastive learning

knowledge distillation

object detection

prediction imitation

TCKD: Task-Oriented Contrastive Knowledge Distillation for Object Detection

摘要

期刊

机构

引用论文