arrow
返回

REED-VAE: RE-Encode Decode Training for Iterative Image Editing with Diffusion Models

delete2025-04-15
delete0
delete
OA
AI
G
Gal Almog
A
Ariel Shamir
O
Ohad Fried
DOI:10.1111/cgf.70020delete
delete原文链接
delete分享
delete收藏
查看原文
摘要

摘要

En 中文
虽然潜在扩散模型实现了令人印象深刻的图像编辑效果,但其应用于同一图像的迭代编辑时受到严重限制。当尝试使用当前模型进行连续编辑操作时,由于像素空间和潜在空间之间的重复转换,会导致伪影和噪声的累积。一些方法试图通过在潜在空间内执行整个编辑链来解决这个问题,但为此牺牲了灵活性,仅支持有限且预定的扩散编辑操作。我们提出了一种针对变分自编码器(VAEs)的重编码解码(REED)训练方案,该方案即使在多次迭代后也能促进图像质量的保持。我们的工作实现了多方法迭代图像编辑:用户可以执行多种迭代编辑操作,每一步操作都基于前一步的输出,同时结合基于扩散的操作和传统编辑技术。我们展示了REED-VAE在多种图像编辑场景中的优势,包括基于文本和基于蒙版的编辑框架。此外,我们展示了REED-VAE如何提升图像的整体可编辑性,增加了成功且精确编辑操作的可能性。我们希望这项工作能为新提出的“多方法图像编辑”任务提供一个基准。
Keyword:
center dot Computing methodologies -> Computer graphics
Artificial intelligence
AI总结

AI总结

对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

期刊

Computer Graphics Forum 封面图
Computer Graphics Forum
IF:
2.9
论文数:
571
被引数:
1.1W

机构

R
Reichman University
学者数:
1.1K
论文数: 1.2K
被引数: 5
引用论文

引用论文

Blended Latent Diffusion混合潜伏扩散
err2023-07-26
err65
errOAAI
errAvrahami, Omri; Fried, Ohad; Lischinski, Dani
err分享
err收藏
Imagic: Text-Based Real Image Editing with Diffusion Models
err2023-06-01
err0
errOAAI
errBahjat Kawar; Shiran Zada; Oran Lang; Omer Tov; Huiwen Chang; Tali Dekel; Inbar Mosseri; Michal Irani
err分享
err收藏
Zero-shot Image-to-Image Translation
err2023-07-23
err0
errOAAI
errGaurav Parmar; Krishna Kumar Singh; Richard Zhang; Yijun Li; Jingwan Lu; Jun-Yan Zhu
err分享
err收藏
Curriculum learning课程学习
err2009-06-14
err0
PREAI
errYoshua Bengio; Jérôme Louradour; Ronan Collobert; Jason Weston
err分享
err收藏
HIVE: Harnessing Human Feedback for Instructional Visual EditingHIVE: 利用人类反馈进行指导性视觉编辑
err2024-06-16
err0
PREAI
errShu Zhang; Xinyi Yang; Yihao Feng; Can Qin; Chia-Chih Chen; Ning Yu; Zevuan Chen; Huan Wang; Silvio Savarese; Stefano Ermon; Caiming Xiong; Ran Xu
err分享
err收藏
err分享
err收藏
学者 查看更多内容