.png){kind=icon}
返回
DeepInteraction++: Multi-Modality Interaction for Autonomous Driving
.png){kind=icon}
OA
AI
DOI：10.1109/TPAMI.2025.3565194.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
现有高性能自动驾驶系统通常依赖于多模态融合策略以实现可靠的场景理解。然而，这种设计因忽视了模态特有的优势，最终阻碍了模型性能的提升。为解决这一局限性，本研究引入了一种新颖的模态交互策略，该策略允许各模态表示独立学习并全程保持，从而在整个感知流程中充分利用其独特特性。为验证所提策略的有效性，我们设计了DeepInteraction++，一种以多模态表示交互编码器和多模态预测交互解码器为特征的多模态交互框架。具体而言，编码器被实现为具有专门注意力操作的双流Transformer，用于实现独立模态特有表示间的信息交换与整合。我们的多模态表示学习结合了以物体为中心、基于精确采样的特征对齐和全局密集信息传播，这对更具挑战性的规划任务至关重要。解码器被设计为通过交替以统一的模态无关方式聚合独立表示的信息来迭代优化预测，实现多模态预测交互。大量实验表明，所提出的框架在3D目标检测和端到端自动驾驶任务中均表现出卓越的性能。
Keyword:
Autonomous driving
3D object detection
multi-modal fusion
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
BEVFormer: Learning Bird’s-Eye-View Representation from Multi-camera Images via Spatiotemporal TransformersBEVFormer: 通过时空转换器从多相机图像中学习鸟眼视图表示
PREAI
分享收藏
AutoAlign: Pixel-Instance Feature Aggregation for Multi-Modal 3D Object DetectionAutoAlign: 用于多模式3D对象检测的像素实例特征聚合OAAI
OAAI分享收藏分享收藏
查看更多内容