.png){kind=icon}
返回
Multispectral Image Caption Unification Using Diffusion and Cycle GAN Models
.png){kind=icon}
OA
AI
DOI：10.1109/ACCESS.2025.3632152.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
一个主要限制是同时提供多光谱影像和描述性标题的地理空间数据集的稀缺性。特别是，包含对齐的RGB、多光谱和标题信息的数集仍然极为有限。因此，我们提出一个全流程管道来统一RGB图像、图像标题和类似Sentinel-2的多光谱数据三元组。为完成此目标，我们将一个微调的Stable Diffusion模型与一个在生成图像和EuroSAT数据集上训练的Cycle GAN相结合。首先，我们使用Qwen2-VL-2B作为零样本方法为SkyScript数据集中的675,993张图像生成标题。然后，我们在这些图像-标题对上微调Stable Diffusion 2–1 Base模型，并基于Qwen2-VL-2B标题生成随机选择的123,081张RGB图像。最后，我们在约27,000对配对的RGB和多光谱图像上训练一个Cycle GAN，并使用它将合成RGB图像转换为多光谱对应图像。通过这种方式，文本提示可以生成可转换为多光谱Sentinel-2数据的合成卫星图像。该管道通过生成完整的三元组（标题、RGB、多光谱）来使仅包含标题或仅包含RGB图像的数据集得到统一。定量评估支持该方法的可靠性：生成的标题达到SkyCLIP Score 0.7312，微调的Stable Diffusion模型达到CMMD 0.245，而Cycle GAN多光谱输出在我们的合成数据集中达到SAM 10.16°，相较于EuroSAT上的13.94°。代码、模型和数据集链接可在GitHub和Hugging Face上获取。
Keyword:
Cycle GAN
data synthesis
image-to-image translation
multispectral imagery
remote sensing
sentinel-2
stable diffusion
text-to-image
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
