.png){kind=icon}
返回
Making Knowledge Distillation Open Again
.png){kind=icon}
PRE
AI
DOI：10.1109/tip.2026.3721359.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
知识蒸馏（KD）已成为将知识从大规模教师模型转移到轻量级学生模型的关键技术。然而，传统的基于特征蒸馏的方法需要直接暴露教师模型的中间表示，引发数据隐私和专有模型细节泄露的担忧。这些担忧常阻碍蒸馏在协作或云环境中的部署。为解决这些挑战，我们提出了一种隐私感知、教师导向的投影特征蒸馏框架，在减少直接特征暴露的同时保持蒸馏效果。具体而言，我们的方法采用低秩投影策略，将教师特征混淆到紧凑子空间中。授权的学生模型利用此投影矩阵对齐自身特征，实现有效知识转移，同时减少对教师原始空间模式的直接暴露。在基准数据集上的大量实验表明，该方法在保持目标检测和语义分割竞争性能的同时，实现了经验性特征混淆和重构抗性，甚至在从投影表示学习时，某些设置下性能仍有提升。
Keyword:
Knowledge distillation
object detection
feature obfuscation
feature projection
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W
机构
引用论文
Selective knowledge sharing for privacy-preserving federated distillation without a good teacher.png)
NATURE COMMUNICATIONS
OAAI
NATURE COMMUNICATIONSIF15.7
OAAI分享收藏
查看更多内容