.png){kind=icon}
返回
Feature-based decoupled distillation
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2026.116658.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于特征的知识蒸馏通常采用无差别的空间对齐，隐含地假设特征内的所有组成部分具有同等稳定性和可迁移性。本文通过频谱分析重新审视这种整体性处理，并揭示了跨频带的明显特征异质性：低频成分表现出高跨网络一致性和对扰动的鲁棒性，捕捉稳定且与模型无关的语义，而高频成分则表现出低相似性和敏感性，编码模型特定的模式和精细细节。基于这一发现，我们提出了基于特征的解耦蒸馏，一种分而治之的框架，对不同异质子空间应用差异化监督。具体而言，我们引入了一个内容自适应解耦模块，利用教师的全局幅度谱作为稳定先验来分离主导的低频成分和补充的高频成分。随后，我们对低频成分施加严格的逐点对齐以保持语义一致性，同时采用宽松的能量统计匹配目标对高频成分进行匹配，以维持学生的架构灵活性。在CIFAR-100、ImageNet和MS-COCO上的大量实验验证了我们的方法的有效性及其在架构和任务上的强大泛化能力。我们的代码可在：https://github.com/cloak-s/FDD.
Keyword:
Knowledge distillation
Feature decoupling
Frequency domain
