Advancing 3D Object Detection With Depth-Aware Spatial Knowledge Distillation

Zizhang Wu

doi:10.1109/TPAMI.2025.3594805

Advancing 3D Object Detection With Depth-Aware Spatial Knowledge Distillation

0

PRE

AI

DOI：10.1109/TPAMI.2025.3594805

原文链接

摘要

En 中文

从图像中实现精确的3D目标检测可能受到固有深度模糊性的阻碍。尽管来自特权传感器（如LiDAR）的知识蒸馏（KD）提供了有前景的方向，但它通常受到关键的跨传感器领域差异问题的影响。为解决此问题，我们提出了DK3D，一种新颖的深度感知知识蒸馏框架用于3D检测。我们的核心策略是在训练过程中为教师模型提供特权化的真实深度信息。这直接避免了从LiDAR教师（稀疏、几何特征）到基于相机的学生（密集、语义特征）蒸馏时所需的特征表示不匹配及后续低效的知识传递。DK3D引入了针对两种主要学生范式设计的专用模块。对于深度辅助模型，我们采用通道级投影层（CPL）和对抗性评分块（ASB），以在像素和分布两个层面实现对中间特征的校准。对于独立于深度的模型，一种新颖的视觉-深度关联模块允许学生模型通过融合深度线索与视觉特征来隐式推理几何信息。两种方法均进一步通过目标感知的空间响应蒸馏得到增强，该机制能够捕捉复杂的对象间空间关系。在KITTI和nuScenes基准测试上的广泛实验表明，DK3D显著提升了单目及多视角3D检测的性能，超越了现有最先进的方法。作为一种通用且即插即用的框架，DK3D能够增强现有模型，而无需额外训练数据或增加推理时的计算成本。

Keyword:

Knowledge distillation (KD)

monocular 3D detection

privileged learning

Advancing 3D Object Detection With Depth-Aware Spatial Knowledge Distillation

摘要

期刊

机构

引用论文