Fusion-Mamba for Cross-Modality Object Detection

Wenhao Dong

doi:10.1109/TMM.2025.3599020

Fusion-Mamba for Cross-Modality Object Detection

2025-01-01

0

PRE

AI

DOI：10.1109/TMM.2025.3599020

原文链接

原文求助

摘要

En 中文

跨模态目标检测旨在融合不同模态的互补信息以提高模型性能，从而实现更广泛的应用。然而，基于CNN或Transformer的传统跨模态融合方法未能充分解决伪目标信息问题，导致模型注意力分散，进而降低目标检测性能。本文研究了一种新颖的跨模态融合方法，通过基于改进的Mamba与门控注意力机制的隐藏状态空间关联跨模态特征。我们提出了(FMB)，其设计用于将跨模态特征映射到隐藏状态空间进行交互，从而优化模型对真实目标区域的注意力并提升整体性能。FMB包含两个关键模块：状态空间通道交换(SSCS)模块，用于促进浅层特征融合；双状态空间融合(DSSF)模块，用于实现深度融合，并在隐藏状态空间中有效抑制伪目标信息。我们提出的方法优于当前最优方法，在M³FD、DroneVehicle和FLIR-Aligned数据集上的mAP分别提升了5.9%、3.5%和2.1%。据我们所知，本研究为跨模态目标检测建立了新的基准，为该领域未来的研究提供了坚实基础。

Keyword:

Cross-modality

feature fusion

multi-spectral object detection

mamba

Fusion-Mamba for Cross-Modality Object Detection

摘要

期刊

机构

引用论文