.png){kind=icon}
返回
Adaptive Scale-Aware Semantic Memory Network for Remote Sensing Image Captioning
.png){kind=icon}
PRE
AI
DOI：10.1109/TGRS.2025.3636596.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
遥感图像字幕生成在视觉图像与自然语言之间的转换仍是遥感学界的一大长期挑战。由于遥感图像覆盖范围广且信息量大，现有方法难以有效利用不同尺度下样本中关于对象及其属性的相关语义信息来生成描述。为解决这些问题，本文提出了一种新颖的自适应尺度感知语义记忆网络（ASSMN）用于遥感图像字幕生成。首先，为充分提取遥感图像中的语义信息，构建了多级特征增强以改进从对比语言-图像预训练（CLIP）预训练模型中提取的特征表示。随后，引入尺度感知注意力聚合器（SAA）以进一步将增强的多尺度图像特征整合到遥感图像的高层语义中。然后，为充分利用联合观测样本的语义信息，设计了语义记忆强化（SMR）来通过从其他训练样本获取的相关语义来强化当前场景的语义表示。最后，执行字幕解码器以生成包含准确对象和属性的全面场景字幕。在实验中，评估了所提ASSMN在三个遥感图像字幕生成数据集上的性能，并与精心设计的基线方法及最先进方法进行了比较，并通过消融所提各组件的作用来证明所提方法的优越性。代码将发布于https://github.com/zcsisiyao/ASSMN。
Keyword:
Contrastive language image pretrain
image captioning
prototype memory
remote sensing
期刊
IF:
8.6
论文数:
2.2W
被引数:
10.7W
机构
引用论文
Semantic-Spatial Collaborative Perception Network for Remote Sensing Image Captioning面向遥感图像标注的语义-空间协同感知网络
PREAI
分享收藏分享收藏
Liu, T.; Zhang, M.; Gong, M.; Zhang, Q.; Jiang, F.; Zheng, H.; Lu, D. Commonality feature representation learning for unsupervised multimodal change detection. IEEE Trans. Image Process. 2025, 34, 1219–1233. [Google Scholar] [CrossRef]刘, T.; 张, M.; 龚, M.; 张, Q.; 江, F.; 郑, H.; 陆, D. 无监督多模态变化检测的共性特征表示学习. IEEE Trans. Image Process. 2025, 34, 1219–1233. [Google Scholar] [CrossRef].png)
IF0
PREAI
分享收藏
查看更多内容