.png){kind=icon}
返回
Neighborhood relation-based knowledge distillation for image classification
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neunet.2025.107429.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
作为一种高效的模型压缩方法，近期知识蒸馏方法主要通过最小化教师模型与学生模型预测之间的差异，将知识从大型教师模型转移到小型学生模型。然而，不同样本之间的关系尚未得到充分研究，因为近期的关系蒸馏方法主要从所有随机选定的样本中构建知识，例如小批量样本的相似度矩阵。本文提出基于邻域关系的知识蒸馏（NRKD），将局部结构作为新颖的关系知识以实现更好的知识转移。具体而言，我们首先根据小批量样本的相似度矩阵，找到每个样本的K近邻并构成样本子集，然后构建邻域关系知识用于知识蒸馏，其中特征化的关系知识可通过中间特征图和输出logits进行转移。我们在多个流行的图像分类数据集上进行了广泛实验，包括CIFAR10、CIFAR100、Tiny ImageNet和ImageNet。实验结果表明，所提出的NRKD方法相较于当前最先进的知识蒸馏方法取得了具有竞争力的结果。我们的代码可在以下地址获取：https://github.com/xinxiaoxiaomeng/NRKD.git。
Keyword:
Model compression
Knowledge distillation
Relationship distillation
Image classification
期刊
IF:
6.3
论文数:
8.2K
被引数:
3.0W
机构
引用论文
.png){kind=icon}
Reciprocal Teacher-Student Learning via Forward and Feedback Knowledge Distillation通过正向和反馈知识蒸馏实现师生互惠学习
PREAI
分享收藏ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile DevicesShuffleNet: 一种用于移动设备的极其高效的卷积神经网络
OAAI
OAAI分享收藏
查看更多内容