State Space Model-Based Fusion Modulation Network for Multimodal Semantic Segmentation

Yanli Shang

doi:10.1109/LGRS.2025.3605954

State Space Model-Based Fusion Modulation Network for Multimodal Semantic Segmentation

2025-01-01

0

PRE

AI

DOI：10.1109/LGRS.2025.3605954

原文链接

原文求助

摘要

En 中文

结合合成孔径雷达（SAR）和光学图像进行地貌特征提取提供了一种有前景的解决方案。然而，两种模态间显著的数据分布差异为融合机制实现高效分割带来了挑战。本文提出了一种基于状态空间模型（SSM）的融合调制网络（FMamba），专为多模态语义分割任务设计。该网络能够有效融合两种模态的互补特征，以增强目标区域的语义特征。具体而言，FMamba在编码阶段集成了一个基于SSM的动态融合调制模块（DFMM）。该模块动态融合并调制来自两种不同模态的特征，以促进跨模态特征提取和语义对齐。在解码阶段，通过逐步解码和重建多尺度融合特征生成最终的分割图。在WHU-OPT-SAR和DFC2025数据集上的实验结果证明了所提方法优越的语义分割性能。

Keyword:

Dynamic fusion modulation module (DFMM)

semantic segmentation

state space model (SSM)

State Space Model-Based Fusion Modulation Network for Multimodal Semantic Segmentation

摘要

期刊

机构

引用论文