Multimodal Difference Augmentation Learning for Remote Sensing Change Detection

Hao Yang

doi:10.1109/TGRS.2025.3630710

Multimodal Difference Augmentation Learning for Remote Sensing Change Detection

2025-01-01

0

PRE

AI

DOI：10.1109/TGRS.2025.3630710

原文链接

原文求助

摘要

En 中文

遥感变化检测（RSCD）在环境监测和城市规划等应用中发挥着关键作用。随着CLIP等基础视觉-语言模型的涌现，将文本信息整合到视觉任务中的兴趣日益增长。然而，在RSCD领域，有效利用文本线索的努力有限，且在捕捉差异特征方面仍存在挑战。为解决这些问题，本研究提出了多模态差异增强学习变化检测网络（MdaCD），该网络充分利用文本信息并增强差异特征学习（DFL）。MdaCD引入了一种CLIP引导的掩码过程，以引导文本描述关注图像差异，以及一种多模态融合与差异增强过程，用于整合和精炼跨模态的差异特征。CLIP引导的掩码过程在生成文本提示之前对双时相图像对应用掩码，从而实现更精准的变化分析。同时，多模态融合与差异增强过程计算融合注意力图以整合视觉和文本线索，有效放大相关差异。通过应用差异增强函数，视觉和文本嵌入的差异特征得到进一步精炼和强化。所提出的MdaCD模型的有效性通过在两个公开RSCD数据集上的广泛实验得到验证，其在LEVIR-CD上达到84.88%的IoU分数，在SYSU-CD上达到71.96%的IoU分数，均实现了当前最佳性能。本工作的代码和预训练模型将公开提供于https://github.com/haoyangofficial/MdaCD。

Keyword:

Change detection (CD)

differential feature learning (DFL)

multimodal learning

remote sensing

Multimodal Difference Augmentation Learning for Remote Sensing Change Detection

摘要

期刊

机构

引用论文