.png){kind=icon}
返回
A layered self-supervised knowledge distillation framework for efficient image representation learning
.png){kind=icon}
PRE
AI
DOI：10.1007/s00607-026-01671-8.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在资源受限环境中部署深度学习模型需要训练策略在不增加推理时间成本的前提下提升紧凑模型性能。本研究通过高效的自我蒸馏框架应对这一挑战。我们提出分层自监督知识蒸馏（LSSKD），一种无需依赖大型预训练教师模型的训练框架，用以增强紧凑型深度神经网络。该方法在网络中间阶段引入辅助分类器以生成自监督知识，并实现跨层级的知识转移。在CIFAR-100、Tiny-ImageNet和ImageNet上的实验表明，LSSKD持续提升了紧凑模型的性能。该方法在CIFAR-100上相较于PS-KD平均提升4.54%，相较于SSKD提升1.14%，而在ImageNet上相较于HASSKD提升0.32%。在少样本设置下的额外评估进一步验证了所提LSSKD框架的有效性。这些发现表明，所提LSSKD框架在不依赖大型过参数化教师网络的情况下，有效提升了紧凑模型的泛化能力和性能。值得注意的是，辅助分类器仅在训练期间使用，可在推理时移除，不引入额外计算成本。这种设计使该方法特别适用于提升面向资源受限部署场景的紧凑型视觉模型。
Keyword:
Self-supervised learning
Knowledge distillation
Edge computing
Multi-modal learning
Lightweight deep models
期刊
C
IF:
2.8
论文数:
2.3K
被引数:
3.5K
机构
引用论文
Luo, Y.; Wang, J.; Yang, X.; Yu, Z.; Tan, Z. Pixel Representation Augmented through Cross-Attention for High-Resolution Remote Sensing Imagery Segmentation. Remote Sens. 2022, 14, 5415. [Google Scholar] [CrossRef]Luo, Y.; Wang, J.; Yang, X.; Yu, Z.; Tan, Z. 通过交叉注意力增强像素表示的高分辨率遥感影像分割。Remote Sens. 2022, 14, 5415. [Google Scholar] [CrossRef].png)
IF0
PREAI
分享收藏Scale fusion light CNN for hyperspectral face recognition with knowledge distillation and attention mechanismAPPLIED INTELLIGENCE
APPLIED INTELLIGENCEIF3.5
PREAI
分享收藏Anomaly Detection for MEC Enabled Hierarchical Industrial IoT With Transformer Enhanced Variational Auto Encoder具有变压器增强型变分自动编码器的MEC支持分层工业物联网的异常检测
PREAI
分享收藏Rethinking Discrepancy Analysis: Anomaly Detection via Meta-Learning Powered Dual-Source Representation Differentiation重新思考差异分析: 通过元学习驱动的双源表示差异进行异常检测
PREAI
分享收藏分享收藏
分享收藏A survey on deep learning techniques for image and video semantic segmentation用于图像和视频语义分割的深度学习技术综述
PREAI
分享收藏
查看更多内容