MFKD: Multi-dimensional feature alignment for knowledge distillation

Zhen Guo

doi:10.1016/j.imavis.2025.105514

MFKD: Multi-dimensional feature alignment for knowledge distillation

2025-05-01

0

PRE

AI

DOI：10.1016/j.imavis.2025.105514

原文链接

原文求助

摘要

En 中文

知识蒸馏是深度学习领域中用于压缩和迁移模型的一种流行技术。然而，现有的蒸馏方法通常侧重于优化单一维度，忽视了在多个维度上对齐和转换知识的重要性，导致结果欠佳。本文提出了一种名为多维度特征对齐知识蒸馏（MFKD）的新方法来解决这一局限性。MFKD框架基于不同维度的知识可以相互有效补充的观察结果。我们分别从空间、样本和通道维度提取知识。我们的空间层部分分离了前景和背景信息，通过模仿教师模型的空间和通道注意力图，引导学生关注关键图像区域。我们的样本层部分通过将学生的激活值对齐以模拟教师的聚类模式（使用斯皮尔曼相关系数），蒸馏样本激活值之间语义相关性编码的知识。此外，我们的通道层部分鼓励学生学习与教师通道间相互依赖性对齐的标准特征表示。最后，我们动态平衡不同维度的损失因子以优化蒸馏过程的整体性能。为验证我们方法的有效性，我们在CIFAR-100、ImageNet和COCO等基准数据集上进行了实验。实验结果表明，与基线方法和近期最先进方法相比，性能有显著提升，证实了MFKD框架的有效性。此外，我们提供了实验结果的全面分析，深入探讨了我们方法的优势和有效性。通过该分析，我们强调了在知识蒸馏中跨多个维度对齐和利用知识的重要性。

Keyword:

Knowledge distillation

Feature-based distillation

MFKD: Multi-dimensional feature alignment for knowledge distillation

摘要

期刊

机构

引用论文