A Diffusion-Guided Task Decomposition Framework for SAR-to-Optical Image Translation

Dakuan Du

doi:10.1109/JSTARS.2025.3623105

A Diffusion-Guided Task Decomposition Framework for SAR-to-Optical Image Translation

2025-01-01

0

OA

AI

DOI：10.1109/JSTARS.2025.3623105

原文链接

查看原文

摘要

En 中文

将合成孔径雷达（SAR）图像转换到光学领域，为提升数据可解释性以及在下游视觉任务中实现更优性能提供了有前景的解决方案。然而，SAR与光学模态之间显著的特征分布差异给现有转换方法带来了巨大挑战，往往导致特征对齐不理想和转换结果不准确。为此，我们提出了DGD-S2O，一种用于SAR到光学图像转换的扩散引导任务分解框架。通过利用前向扩散过程中的中间状态，该框架逐步将数据分布从SAR域转换到光学域。具体而言，DGD-S2O将转换任务分解为两个协同的子任务：噪声域中的模态映射和通过反向扩散进行图像重建，二者逐步对齐特征分布以降低学习复杂度并提升转换精度。此外，为确保模态间的语义一致性，我们引入了一个条件像素调制器，在光学图像重建过程中自适应地对像素级注入的SAR信息进行归一化。同时，采用了一种小波增强对齐机制，分别处理高低频分量，有效缓解低频分布差异的同时细化高频细节。在四个公开基准数据集上的大量实验表明，DGD-S2O不仅能实现高质量图像重建，还能提升场景分类和土地覆盖分割等下游任务的性能，验证了其在多样化场景中的有效性。

Keyword:

Conditional image generation

diffusion model

downstream task enhancement

SAR-to-optical image translation

semantic consistency

synthetic aperture radar (SAR)

A Diffusion-Guided Task Decomposition Framework for SAR-to-Optical Image Translation

摘要

AI总结

期刊

机构

引用论文