KD-RSCC: A Karras Diffusion Framework for Efficient Remote Sensing Change Captioning

Xiaofei Yu

doi:10.1109/LGRS.2025.3608489

KD-RSCC: A Karras Diffusion Framework for Efficient Remote Sensing Change Captioning

2025-01-01

0

PRE

AI

DOI：10.1109/LGRS.2025.3608489

原文链接

原文求助

摘要

En 中文

遥感图像变化描述（RSICC）是一项具有挑战性的任务，涉及使用自然语言描述双时相或多时相卫星图像之间的地表变化。该任务需要同时具备精细的视觉理解和富有表现力的语言生成能力。基于Transformer和长短期记忆（LSTM）的模型在该领域已展现出有前景的结果。然而，它们可能在生成灵活且多样的描述方面遇到困难，特别是在训练数据有限或不平衡的情况下。尽管扩散模型能提供更丰富的文本输出，但它们通常受限于较长的推理时间。为解决这些问题，我们提出了一种新颖的基于扩散的框架KD-RSCC，用于高效且富有表现力的遥感变化描述。该框架利用Karras采样方法显著减少推理过程中所需的步数，同时保持生成描述的质量和多样性。此外，我们引入了一种基于大型语言模型（LLM）的评估策略G-Eval_RSCC，以对生成描述的语义准确性、流畅度和语言多样性进行更全面的评估。实验结果表明，KD-RSCC在生成质量和推理速度之间实现了最佳平衡，提升了输出结果的灵活性和可读性。代码和补充材料可在https://github.com/Fay-Y/KD_RSCC获取。

Keyword:

Change captioning

Karras diffusion

large language model (LLM)

remote sensing

KD-RSCC: A Karras Diffusion Framework for Efficient Remote Sensing Change Captioning

摘要

期刊

机构

引用论文