.png){kind=icon}
返回
Self-knowledge distillation with dimensional history knowledge
.png){kind=icon}
PRE
AI
DOI：10.1007/s11432-023-4283-3.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
现有自知识蒸馏（Self-KD）方案通常专注于将个体实例的历史预测转移到当前网络。然而，这种方法往往容易使简单实例产生过度自信，而使困难实例产生自信不足。广泛使用的基于温度的策略来平滑或锐化预测分布可能导致实例间不一致，引发敏感性问题。为解决此问题，我们的方法将实例队列视为一个集成，而非独立处理每个实例。我们提出了一种新颖的方法，从维度视角进行历史知识的蒸馏，利用每个集成内的类内特征和类间关系。首先，我们将当前网络的每个维度分布对齐至历史输出。其次，确保每个维度比不相似的维度更接近相似的维度，从而从当前和历史视角保持一致的态度。我们的见解表明，从维度视角进行历史知识的蒸馏比传统的基于实例的方法更有效，并具有在相关任务中的潜在应用。在三个著名数据集和多种网络架构上的实验结果证明了我们提出方法的优越性。我们的代码可在https://github.com/WenkeHuang/DimSelfKD获取。
Keyword:
knowledge distillation
self-knowledge distillation
dimensional distribution
期刊
IF:
7.6
论文数:
4.9K
被引数:
8.9K
机构
暂无机构信息
引用论文
Model compression模型压缩.png)
Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining
Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data miningIF0
PREAI
分享收藏
Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks视觉智能的知识蒸馏和师生学习: 回顾和新观点
OAAI
OAAI分享收藏Progressive Contextual Instance Refinement for Weakly Supervised Object Detection in Remote Sensing Images用于遥感图像中弱监督目标检测的渐进式上下文实例细化
PREAI
分享收藏
查看更多内容