Consistent Image Layout Editing With Diffusion Models

doi:10.1109/TIP.2025.3623869

Consistent Image Layout Editing With Diffusion Models

2025-01-01

0

PRE

AI

DOI：10.1109/TIP.2025.3623869

原文链接

原文求助

摘要

En 中文

尽管大型文本到图像扩散模型在图像生成和图像编辑方面取得了巨大成功，现有方法在编辑真实世界图像的布局方面仍然存在困难。虽然已有少数工作致力于解决这一问题，但它们要么无法有效调整图像布局，要么在调整布局后难以保持物体的视觉外观。为了弥补这一差距，本文提出了一种新颖的图像布局编辑方法，该方法不仅能将真实世界图像重新排列到指定布局，还能确保物体的视觉外观在编辑前后保持一致。具体而言，我们开发了一种多概念学习方案，用于从单幅图像中学习不同物体的概念，这可以被视为一种专为图像布局编辑定制的创新反向方案。随后，我们利用扩散模型中间特征中的语义一致性，将物体的外观信息投影到目标区域，以提高编辑后物体的保真度。此外，采用了一种新颖的初始化噪声设计，以促进布局重新排列的收敛性和成功率。同时，对概念纠缠现象进行了分析，并通过一种新颖的异步编辑策略加以解决。大量实验结果表明，所提出的方法在图像布局编辑任务中，无论是在布局对齐还是视觉一致性方面，均优于现有方法。

Keyword:

Image layout editing

diffusion models

visual consistency

Consistent Image Layout Editing With Diffusion Models

摘要

期刊

机构

引用论文