.png){kind=icon}
返回
Toward Effective Knowledge Distillation: Navigating Beyond Small-Data Pitfall
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2025.3607982.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在大规模数据集上训练大型模型的惊人成功凸显了通过规模扩展实现卓越性能的潜力。为了将这些模型部署在边缘设备上，知识蒸馏（KD）通常用于从较大的预训练教师模型创建紧凑模型。然而，随着模型和数据集在实践应用中快速扩展，考虑最初为低容量架构和小规模数据集设计的现有KD方法的应用性至关重要。本文重新审视当前的KD方法，并识别出存在“小数据陷阱”，其中对基础KD的大部分修改在大规模数据集上被证明无效。为引导在不同数据规模下均有效的KD方法设计，我们细致评估了知识转移过程。研究发现，纳入更多有用信息对实现持续有效的KD方法至关重要，而损失函数的修改显示相对较小的重要性。基于此，我们提出一个范例，结合基础KD与深度监督，在蒸馏过程中将额外信息纳入学生模型。该方法超越了几乎所有近期KD方法。我们相信本研究将为社区提供宝贵见解，以指导其超越小数据陷阱，迈向持续有效的KD。
Keyword:
Computer vision
deep supervision
dense prediction
knowledge distillation
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
查看更多内容