.png){kind=icon}
返回
Wavelet-Based Distillation with Structured Frequency Alignment
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-3393-0_27.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于特征级的知识蒸馏是压缩目标检测器的有前景的方法。它将高容量、计算密集型教师模型的中间表示转移给具有较低推理成本且更轻量的学生模型。然而，现有方法主要强调空间和通道上的对齐，而很大程度上忽视了可通过频谱分解从深度特征中获取的频率特性。在这项工作中，我们提出了一种频率感知的知识蒸馏方法，通过整合基于小波的特征对齐来增强现有框架。具体而言，教师特征使用二维Haar小波变换分解为多级子带，使学生能够执行子带级对齐，捕捉高频细节和低频语义线索。此外，还采用了一种在主子带上操作的关系蒸馏机制来建模全局依赖性并增强语义一致性。为评估所提出方法的有效性，我们在电力线资产检测数据集（InsPLAD）上进行了实验，这是一个用于输电基础设施检测的真实世界无人机数据集，使用了包括两阶段和单阶段模型在内的多种检测器。基于FGD框架，我们的方法产生了蒸馏后的轻量级学生模型，在各类检测器上平均精度（AP）均实现了1%-3%的增益。此外，该方法在处理通常对紧凑模型构成挑战的细长和结构复杂物体时，表现出更优越的检测性能。
Keyword:
Haar Wavelet Decomposition
Knowledge Distillation
Object Detection
Subband Alignment
Power Asset Inspection
期刊
I
IF:
0
论文数:
37
被引数:
0
机构
引用论文
.png){kind=icon}
Reciprocal Teacher-Student Learning via Forward and Feedback Knowledge Distillation通过正向和反馈知识蒸馏实现师生互惠学习
PREAI
分享收藏Automatic Defect Detection of Fasteners on the Catenary Support Device Using Deep Convolutional Neural Network基于深度卷积神经网络的接触网支撑装置紧固件缺陷自动检测
OAAI
OAAI分享收藏InsPLAD: A Dataset and Benchmark for Power Line Asset Inspection in UAV ImagesInsPLAD: 无人机图像中电力线资产检查的数据集和基准
OAAI
OAAI分享收藏Blackout Probabilistic Risk Assessment and Thermal Effects: Impacts of Changes in Generation停电概率风险评估和热效应: 发电变化的影响
PREAI
分享收藏
查看更多内容