.png){kind=icon}
返回
Expandable Residual Approximation for Knowledge Distillation
.png){kind=icon}
PRE
AI
DOI：10.1109/TNNLS.2025.3602118.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
知识蒸馏（KD）旨在将知识从大规模教师模型转移到轻量级模型中，显著降低计算和存储需求。然而，教师模型与学生模型之间固有的学习能力差距往往阻碍了知识的充分转移，促使大量研究致力于解决这一挑战。受Stone–Weierstrass定理中的渐进逼近原理启发，我们提出了可扩展残差逼近（ERA）方法，这是一种新颖的KD方法，通过将残差知识的逼近分解为多个步骤，采用分治策略降低模仿教师表示的难度。具体而言，ERA采用多分支残差网络（MBRNet）来实现残差知识的分解。此外，引入教师权重集成（TWI）策略以通过复用教师模型的头部权重来缓解能力差距。大量实验表明，ERA在ImageNet分类基准上提升了1.41%的Top-1准确率，在MS COCO目标检测基准上提升了1.40的AP值，并在计算机视觉任务中取得了领先性能。
Keyword:
Image classification
knowledge distillation (KD)
residual learning
semantic segmentation
visual object detection
期刊
IF:
8.9
论文数:
7.6K
被引数:
7.2W
机构
引用论文
.png){kind=icon}
查看更多内容