返回
Inst-Inpaint: Instructing to Remove Objects with Diffusion Models
DOI:10.1007/s11263-026-03110-9.png)
摘要
En 中文
图像修复任务是指从图像中擦除不需要的像素并以语义一致且逼真的方式填充它们。传统上,希望擦除的像素是用二进制掩码定义的。从应用的角度来看,用户需要为希望移除的对象生成掩码,这可能既耗时又容易出错。在本工作中,我们关注一种图像修复算法,该算法能够根据自然语言输入估计要移除的对象并同步移除它。为此,首先,我们构建了一个名为GQA-Inpaint的数据集用于此任务。其次,我们提出了一种名为Inst-Inpaint的修复框架,该框架可以根据作为文本提示给出的指令从图像中移除对象。我们设定了各种基于GAN和扩散的基线,并在合成和真实世界图像数据集上运行实验。我们使用不同的评估指标比较方法,这些指标衡量模型的质量和准确性,并展示了显著的定量和定性改进。有关发布的代码和数据集,请参考项目网页:http://instinpaint.abyildirim.com/
Keyword:
Instruction-based inpainting
Diffusion models
AI总结
对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

