.png){kind=icon}
返回
Remote Sensing Image Generation via Object Text Decoupling
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2025.3599520.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
遥感图像通常揭示广阔地面背景区域内具有复杂结构和不同位置的各种物体。这导致传统生成模型在处理具有正确形状和清晰纹理的遥感物体时面临重大挑战。整合额外的物体级控制可能是提高生成质量的潜在解决方案，但以往的方法通过指定物体位置注入物体相关条件，导致生成结果中物体布局受限。为使遥感图像实现高物体保真度、高布局多样性和物体可定制生成，我们提出了一种基于物体文本解耦的遥感图像生成方法，即OTD-GAN。OTD-GAN利用固有的文本到图像生成过程，并将视觉物体的解耦文本表示自适应地整合到全局描述中，从而实现无布局限制的物体级控制。具体而言，我们设计了一个物体文本解耦模块，用于预测每个物体的语义一致性文本表示。通过将文本表示解耦为类不变部分和物体特定部分，转换后的表示能够捕捉相似物体的通用语义以及个体物体的差异化细节。随后，我们使用物体文本语义增强模块将获取的物体文本表示与全局描述融合，以丰富文本模态中的物体相关语义。因此，生成器将受益于物体条件，在保持创建多样化布局灵活性的同时强化生成质量。在包括NWPU-Captions和RSICD在内的遥感图像-描述数据集上的大量实验表明，我们的方法相较于现有最先进方法实现了领先性能。
Keyword:
Object text decoupling
remote sensing image generation
text-to-image generation
object text semantic enhancement
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
查看更多机构
引用论文
暂无论文信息