返回
Toward Unified 3D Object Detection via Algorithm and Data Unification
DOI:10.1109/TPAMI.2025.3574363.png)
摘要
En 中文
实现统一的3D目标检测,包括室内和室外场景,在机器人导航等应用中具有重要意义。然而,使用各种场景的数据训练模型会带来挑战,因为这些数据具有显著不同的特性,例如多样的几何属性和异构领域分布。在本工作中,我们从算法和数据两个角度提出了解决这些挑战的方法。在算法方面,我们首先基于俯视图(BEV)检测范式构建了一个单目3D目标检测器,其中显式的特征投影有助于解决几何学习的歧义性。在该检测器中,我们将经典的BEV检测架构分为两个阶段,并提出了一种非均匀BEV网格设计,以处理不同场景间几何差异导致的收敛不稳定问题。此外,我们开发了一种稀疏BEV特征投影策略以降低计算成本,并提出了一种统一的领域对齐方法以处理异构领域。在数据方面,我们提出引入深度信息以提高训练的鲁棒性。具体而言,我们构建了首个统一的、多模态的3D目标检测基准MM-Omni3D,并将上述单目检测器扩展为其多模态版本,这是首个统一的、多模态的3D目标检测器。我们将设计的单目和多模态检测器分别命名为UniMODE和MM-UniMODE。实验结果表明了多个有见地的发现,突显了多模态数据的益处,并证实了所有提出策略的有效性。
Keyword:
3D object detection
unified detection
monocular detection
multi-modal detection benchmark
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks更快的r-cnn: 基于区域建议网络的实时目标检测
BEVFormer: Learning Bird’s-Eye-View Representation from Multi-camera Images via Spatiotemporal TransformersBEVFormer: 通过时空转换器从多相机图像中学习鸟眼视图表示

