arrow
返回

Toward Unified 3D Object Detection via Algorithm and Data Unification

delete2025-09-01
delete0
delete
OA
AI
Z
Zhuoling Li
X
Xiaogang Xu
S
Ser-Nam Lim
H
Hengshuang Zhao
DOI:10.1109/TPAMI.2025.3574363delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
实现统一的3D目标检测,包括室内和室外场景,在机器人导航等应用中具有重要意义。然而,使用各种场景的数据训练模型会带来挑战,因为这些数据具有显著不同的特性,例如多样的几何属性和异构领域分布。在本工作中,我们从算法和数据两个角度提出了解决这些挑战的方法。在算法方面,我们首先基于俯视图(BEV)检测范式构建了一个单目3D目标检测器,其中显式的特征投影有助于解决几何学习的歧义性。在该检测器中,我们将经典的BEV检测架构分为两个阶段,并提出了一种非均匀BEV网格设计,以处理不同场景间几何差异导致的收敛不稳定问题。此外,我们开发了一种稀疏BEV特征投影策略以降低计算成本,并提出了一种统一的领域对齐方法以处理异构领域。在数据方面,我们提出引入深度信息以提高训练的鲁棒性。具体而言,我们构建了首个统一的、多模态的3D目标检测基准MM-Omni3D,并将上述单目检测器扩展为其多模态版本,这是首个统一的、多模态的3D目标检测器。我们将设计的单目和多模态检测器分别命名为UniMODE和MM-UniMODE。实验结果表明了多个有见地的发现,突显了多模态数据的益处,并证实了所有提出策略的有效性。
Keyword:
3D object detection
unified detection
monocular detection
multi-modal detection benchmark

期刊

IEEE Transactions on Pattern Analysis and Machine Intelligence 封面图
IEEE Transactions on Pattern Analysis and Machine Intelligence
IF:
18.6
论文数:
1.1K
被引数:
9.8W

机构

U
University of Hong Kong
学者数:
4.1W
论文数: 3.9W
被引数: 10.1W
C
Chinese University of Hong Kong
学者数:
3.4W
论文数: 3.2W
被引数: 5.6W
U
University of Central Florida
学者数:
8.7K
论文数: 6.8K
被引数: 1.4W
学者 查看更多机构
引用论文

引用论文

Hypersim: A Photorealistic Synthetic Dataset for Holistic Indoor Scene Understanding
err2021-10-01
err0
errOAAI
errMike Roberts; Jason Ramapuram; Anurag Ranjan; Atulit Kumar; Miguel Angel Bautista; Nathan Paczan; Russ Webb; Joshua M. Susskind
err分享
err收藏
A ConvNet for the 2020s21世纪20年代的ConvNet
err2022-06-01
err0
PREAI
errZhuang Liu; Hanzi Mao; Chao-Yuan Wu; Christoph Feichtenhofer; Trevor Darrell; Saining Xie
err分享
err收藏
End-to-End Object Detection with Transformers使用Transformers进行端到端对象检测
err2020-11-03
err0
PREAI
errNicolas Carion; Francisco Massa; Gabriel Synnaeve; Nicolas Usunier; Alexander Kirillov; Sergey Zagoruyko
err分享
err收藏
err分享
err收藏
Efficient Few-Shot Classification via Contrastive Pretraining on Web Data
err
IF0
err2023-06-01
err0
PREAI
errZhuoling Li; Haohan Wang; Tymoteusz Świstek; En Yu; Haoqian Wang
err分享
err收藏
Densely Constrained Depth Estimator for Monocular 3D Object Detection
err2022-11-06
err0
PREAI
errYingyan Li; Yuntao Chen; Jiawei He; Zhaoxiang Zhang
err分享
err收藏
Omni3D: A Large Benchmark and Model for 3D Object Detection in the Wild
err2023-06-01
err0
errOAAI
errGarrick Brazil; Abhinav Kumar; Julian Straub; Nikhila Ravi; Justin Johnson; Georgia Gkioxari
err分享
err收藏
学者 查看更多内容