A multilevel integrated supervision self-distillation method

doi:10.1007/s11227-025-07661-5

2025-07-21

PRE

Yu-Xiang Wang

Xuemei Lei *

DOI：10.1007/s11227-025-07661-5

原文链接

原文求助

摘要

En 中文

深度卷积网络的快速进步使其成为解决各种计算机视觉任务的关键方法。为应对视觉应用中对低错误率性能日益增长的需求，已提出多种技术以增强深度卷积网络的能力。作为一种知识蒸馏的特殊形式，自蒸馏（SD）通过在网络中间层引入辅助分支并利用自身的监督信号进行训练，消除了对独立教师模型的依赖。然而，现有的SD方法仍面临挑战，包括对浅层分支信息利用不足以及深层与浅层分支间显著的表示差异，这些因素限制了知识转移的有效性。为解决这些问题，本文提出了一种多级集成监督自蒸馏（MLISD）方法，该方法将浅层分类器的响应监督整合到最深层分类器中，并将较深层分支的特征图监督传递至相邻的浅层分支，从而丰富所学知识。此外，我们引入了并行通道-空间自适应注意力模块，并提出了改进的分类器设计。在多个公开数据集上使用多种经典深度学习模型进行的全面实验证实，所提出的MLISD方法有效突破了传统自蒸馏方法性能的局限。值得注意的是，配备MLISD的模型在CIFAR-100上实现2.87%、TinyImageNet上实现2.30%、CUB-200上实现3.49%、MIT-67上实现4.10%的平均准确率提升，显著优于其他前沿自蒸馏方法。

Keyword:

Knowledge distillation

Deep convolutional neural networks

Self-distillation

Image classification