.png){kind=icon}
返回
Decoupled Classifier Knowledge Distillation
.png){kind=icon}
OA
AI
DOI：10.1371/journal.pone.0314267.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
主流知识蒸馏方法主要包括自蒸馏、离线蒸馏、在线蒸馏、基于输出的蒸馏和基于特征的蒸馏。尽管每种方法各有优势，但它们通常被独立使用。简单组合两种蒸馏方法往往会导致冗余信息。如果两种方法传递的信息高度相似，这可能导致计算资源浪费和复杂度增加。为提供蒸馏研究的新视角，我们旨在探索一种既能对齐复杂特征又不与输出对齐冲突的折中方案。在本工作中，我们将分类器的输出解耦为两个部分：学生学习的非目标类别以及由教师和学生共同获得的目标类别。最终，我们提出解耦分类器知识蒸馏（DCKD），一方面，我们固定学生已掌握的正确知识，这对合并两种方法至关重要；另一方面，我们鼓励学生进一步对齐其输出与教师的输出。相比使用单一方法，DCKD在图像分类和目标检测任务上，于CIFAR-100和ImageNet数据集均取得更优结果，且不降低训练效率。此外，它使基于关系和基于特征的蒸馏能够更高效、灵活地运行。本研究展示了集成蒸馏方法的巨大潜力，并希望其能启发未来的研究。
期刊
IF:
2.6
论文数:
2.6W
被引数:
81.6W
机构
引用论文
Model compression模型压缩.png)
Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining
Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data miningIF0
PREAI
分享收藏Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks视觉智能的知识蒸馏和师生学习: 回顾和新观点
OAAI
OAAI分享收藏
查看更多内容