.png){kind=icon}
返回
Multi-semantic depth collaborative multi-modality image fusion network
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2026.115756.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态图像融合旨在整合来自不同传感器的互补数据，以实现对成像场景更全面的表示。现有方法主要关注像素级特征与视觉或文本语义之间的表层交互，并未充分整合文本模态、图像融合与下游任务之间的全局一致性。这种多语义之间深度协作的缺失无法有效捕捉多模态信息以及融合与下游任务之间的细粒度关联。因此，我们提出了一种多语义深度协作图像融合（MSIF）网络。首先，不同于传统的级联网络结构，MSIF采用双任务并行结构，高效建立了融合与分割任务之间的深度相关性。其次，MSIF通过利用文本模态中更深、更详细的语义信息来指导图像融合与分割，增强了融合与下游任务之间的语义一致性。此外，MSIF使用设计的多语义深度协同模块（MSDSM）深度整合文本特征、像素级特征和分割语义特征，从而实现多模态信息的有效融合，并满足下游任务的语义需求。最后，将组合的语义特征输入融合解码器以生成最终融合结果。广泛的定量与定性实验表明，我们的方法在多模态数据集上达到了当前最优（SOTA）性能。
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin TransformerSwinFusion: 通过Swin变压器进行通用图像融合的跨域远程学习
PREAI
分享收藏AT-GAN: A generative adversarial network with attention and transition for infrared and visible image fusionAT-GAN: 用于红外和可见光图像融合的具有注意力和过渡的生成对抗网络.png)
INFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏PIAFusion: A progressive infrared and visible image fusion network based on illumination awarePIAFusion: 一种基于光照感知的渐进式红外与可见光图像融合网络INFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏MLDF: Multi-scale local descriptors fusion for lace fabric image retrievalMLDF：多尺度局部描述符融合用于蕾丝织物图像检索
PREAI
分享收藏RXDNFuse: A aggregated residual dense network for infrared and visible image fusionRXDNFuse: 一种用于红外和可见光图像融合的聚合残差密集网络INFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏GBFusion: Adaptive granular-Ball computing and multi-granularity feature perception for multi-Focus image fusionGBFusion：自适应粒度-球计算和多粒度特征感知用于多焦点图像融合
PREAI
分享收藏Image fusion meets deep learning: A survey and perspective图像融合与深度学习: 综述与展望INFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏Rethinking the necessity of image fusion in high-level vision tasks: A practical infrared and visible image fusion network based on progressive semantic injection and scene fidelityINFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏
查看更多内容