.png){kind=icon}
返回
Difference Approximation Network With Semantic Alignment for Remote Sensing Change Captioning
.png){kind=icon}
PRE
AI
DOI：10.1109/tgrs.2026.3739247.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
遥感变化描述（RSCC）在利用视觉-语言生成推进遥感时空理解方面发挥着重要作用。然而，由于地理空间模式的时序演变，双时相图像易受光照条件和季节效应的影响。现有方法未能有效利用跨样本差异信息，且无法对关键变化进行显式多模态对齐，这往往导致关键对象及其关系的变更描述不准确。为解决这些问题，本文提出了一种具有语义对齐的差异近似网络（DANSA）用于RSCC。具体而言，引入跨时序特征变换（CFT）以与对比语言-图像预训练（CLIP）模型提取的特征表示进行交互。随后，为学习可靠的差异表示，设计了差异记忆近似（DMA）来通过激活训练样本中的差异信息来增强当前场景的差异表示。此外，考虑到预训练语言嵌入模型可作为强大的监督信号，构建了变更语义对齐（CSA）以实现视觉与文本特征间的细粒度对齐。通过这种方式，DANSA生成全面的场景变更描述，能准确描绘跨时间对象和关系。在三个基准数据集上进行的大量实验和分析表明，DANSA在较少训练参数下实现了有竞争力的性能。代码将发布于https://github.com/zcsisiyao/DANSA。
Keyword:
Change captioning
contrastive language-image pretraining
cross-modal alignment
remote sensing
