.png){kind=icon}
返回
DrKD: Decoupling response-based distillation for object detection
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2024.111275.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于响应的蒸馏，作为一种关键的知识蒸馏（KD）形式，一直是KD研究的核心。然而，目标检测模型固有的顺序训练流水线限制了基于响应的蒸馏的有效性，制约了学生模型的性能。为解决这一局限性，我们提出了一种新颖的并行蒸馏框架。具体而言，我们将基于响应的知识蒸馏（DrKD）解耦为并行的编码器蒸馏和解码器蒸馏。对于编码器蒸馏，采用特征模仿，但传统方法因特征与预测结果之间的语义差距而受阻。为缓解这一问题，我们引入无间隙特征模仿，通过一个简单而有效的适配器将特征转换到响应空间，有效弥合语义差距。此外，我们提出自相关模仿以进一步增强特征模仿。对于解码器蒸馏，我们将函数逼近原理扩展到KD中。通过保持解码器输入的一致性并将学生的输出与教师的输出对齐，我们有效地实现了解码器蒸馏。在多个检测器上的广泛实验表明，DrKD取得了最先进的性能。具体而言，基于ResNet-50的GFL、FCOS、ATSS、TOOD和DDOD与DrKD结合时，在COCO上分别达到42.6%、40.1%、40.9%、44.8%和42.1%的AP，比各自的基础模型高出2.4、1.4、1.5、2.4和0.9个百分点。基于ResNet-50的DrKD与RetinaNet结合时，在VOC上达到59.1%的mAP，比基础模型高出3.7个百分点。
Keyword:
Decoupled response-based distillation
Encoder distillation
Decoder distillation
Object detection
Model compression
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
.png){kind=icon}
Bridging the Gap Between Anchor-Based and Anchor-Free Detection via Adaptive Training Sample Selection通过自适应训练样本选择弥合基于锚点和无锚检测之间的差距
OAAI
OAAI分享收藏分享收藏
查看更多内容