.png){kind=icon}
返回
SparseBEV: A Fully Sparse Framework for Multi-View 3D Object Detection
.png){kind=icon}
PRE
AI
DOI：10.1109/tpami.2026.3679808.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于摄像头的BEV（鸟瞰图）空间3D目标检测在过去几年中引起了广泛关注。密集型检测器通常遵循两阶段流程，首先构建密集BEV特征，然后在BEV空间执行目标检测，但这会导致复杂的视图变换和高计算成本。另一方面，稀疏型检测器采用基于查询的范式，无需显式构建密集BEV特征，但性能通常劣于密集型检测器。本文发现，缩小这种性能差距的关键在于检测器在BEV和图像空间中的适应性。为此，我们提出了一种全稀疏3D目标检测器，其性能优于密集型检测器且运行速度更快。我们的稀疏检测器包含三项关键设计：（1）尺度自适应自注意力机制，用于在BEV空间聚合具有自适应感受野的特征；（2）尺度自适应交叉注意力机制，用于捕捉不同对象独特的时序动态；（3）自适应采样与混合机制，用于在查询指导下执行查询与图像特征之间的交互。这些关键组件增强了检测器在BEV和图像空间中的适应性。此外，我们探索了两种不同的时序建模方法：基于采样点的多帧堆叠（命名为SparseBEV）和基于查询的循环时序融合（命名为SparseBEV++），以有效利用时序特征。我们在nuScenes和Waymo数据集上进行了实验。在nuScenes的验证集上，SparseBEV和SparseBEV++均超越了所有先前方法。我们的SparseBEV实现了55.8 NDS的性能和23.5 FPS的速度，而SparseBEV++进一步实现了57.1 NDS的卓越性能，同时保持24.6 FPS的实时推理速度。在Waymo数据集上，我们表现最佳的模型SparseBEV++以58.9 mAP和55.2 mAPH的领先优势超越了先前方法。
Keyword:
3D object detection
BEV
multi-camera
transformer
autonomous driving
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
分享收藏BEVFormer: Learning Bird’s-Eye-View Representation from Multi-camera Images via Spatiotemporal TransformersBEVFormer: 通过时空转换器从多相机图像中学习鸟眼视图表示
PREAI
分享收藏
查看更多内容