.png){kind=icon}
返回
Multi-view Feature Adjustment and Alignment for knowledge distillation
.png){kind=icon}
PRE
AI
DOI：10.1016/j.displa.2026.103455.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
知识蒸馏（KD）是一种广泛应用的模式压缩技术，通常依赖于教师模型生成的软标签作为监督信号来指导学生模型的训练。然而，教师与学生之间显著的结构差异可能导致语义错位和不确定性，从而削弱监督的有效性。为解决这一问题，我们提出了多视角特征调整与对齐（MFAA），一种基于层次特征的蒸馏框架。MFAA构建了多视角蒸馏路径以生成精细化的监督，涵盖输入互相关建模、特征交互和输出决策，从而显著提升学生模型的泛化能力和性能。我们在六个基准数据集CIFAR-100、CIFAR-100-C、STL-10、SVHN、Tiny ImageNet和ImageNet上对MFAA进行了分类、迁移、少样本和鲁棒性任务的评估。客观指标包括准确率、平均 Corruption Error（mCE）、KL散度和Centered Kernel Alignment（CKA）；主观指标通过Class Activation Maps（CAM）和t-SNE可视化评估学习表示的一致性和可解释性。实验结果表明，MFAA在各项任务中均优于现有方法，在鲁棒性评估中平均提升5.86%。同时，它增强了特征一致性和语义对齐，证实了其在表示保留和结构对齐方面的优势。我们的源代码可在https://github.com/lambett/MFAA获取。
Keyword:
Knowledge distillation
Feature representation
Image classification
期刊
IF:
3.4
论文数:
2.3K
被引数:
3.2K
机构
引用论文
Conditional Teacher-student Learning.png)
ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
OAAI
ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
OAAI分享收藏Reciprocal Teacher-Student Learning via Forward and Feedback Knowledge Distillation通过正向和反馈知识蒸馏实现师生互惠学习
PREAI
分享收藏
分享收藏
查看更多内容