CLEAN: Category Knowledge-Driven Compression Framework for Efficient 3D Object Detection

H. Y. Zhang

doi:10.1109/TPAMI.2025.3582706

CLEAN: Category Knowledge-Driven Compression Framework for Efficient 3D Object Detection

0

PRE

AI

DOI：10.1109/TPAMI.2025.3582706

原文链接

摘要

En 中文

深度神经网络（DNNs）在基于LiDAR的3D目标检测（LiDAR-3DOD）中表现出强大的能力，但其部署仍然因参数和计算量庞大而面临挑战。知识蒸馏（KD）在压缩LiDAR-3DOD中的DNN方面具有前景。然而，大多数现有的KD方法在同类检测器之间传递的知识不足，且未能充分探索最优的学生网络架构，导致紧凑型学生检测器的性能提升有限。为此，我们提出了一种基于类别知识的压缩框架，以实现高效的基于LiDAR的3D检测器。首先，我们从两阶段教师检测器向一阶段学生检测器蒸馏知识，克服了同类检测器对之间的局限性。为在异构检测器对之间进行KD，我们探索了异构检测器之间的差异，并引入了基于类别知识的KD（CaKD），该框架包括面向学生的蒸馏和面向两阶段的标签分配蒸馏。其次，为搜索紧凑型学生检测器的最优架构，我们引入了一种基于掩码类别知识的结构化剪枝方案。该方案通过分析前景区域相关类别预测在滤波器移除前后的变化来评估滤波器的重要性，并据此剪枝不重要的滤波器。最后，我们提出了一种改进的IoU感知冗余消除模块，以移除冗余的假阳性样本，从而进一步提升检测器的精度。在多种点云数据集上的实验表明，我们的方法取得了显著成果。例如，在KITTI数据集上，多个压缩后的一阶段检测器在效率和精度上均超越了二阶段检测器。此外，在WOD-mini数据集上，我们的框架将CenterPoint的内存占用减少了5.2倍，并提升了L2 mAPH指标0.55%。

Keyword:

Model compression

knowledge distillation

network pruning

LiDAR-based 3D object detection

CLEAN: Category Knowledge-Driven Compression Framework for Efficient 3D Object Detection

摘要

期刊

机构

引用论文