arrow
返回

Attribute-controlled diffusion model for diverse image inpainting

delete2026-09-10
delete0
PRE
AI
韩楠 封面图
韩楠 (Nan Han)
G
Guohua Geng *
J
Jiahui Deng
Z
Zhan Li *
DOI:10.1016/j.asoc.2026.116396delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
扩散模型在图像修复中展现了强大的生成能力,通过随机采样可从同一不完整输入生成多样且合理的补全结果。然而,这种采样驱动的多样性对生成内容的语义属性控制有限,难以获得具有明确指定属性的多样修复结果。为解决此挑战,我们提出AttDiff,一种用于多样图像修复的属性控制扩散模型。所提出的随机属性选择与编辑机制(RASEM)将明确的属性级控制引入生成过程。它自动选择与输入图像关联的属性,同时允许用户编辑和重组它们以构建不同的语义配置。通过这种方式,随机生成可由明确的属性组合引导,产生具有受控语义属性的显著修复结果。同时,生成内容应与可见图像上下文保持一致。因此,自适应融合模块(AFM)将合成区域与观察内容自适应地整合,促进平滑过渡并减少边界处的差异。传统的基于扩散的修复通常依赖迭代反向去噪,这会带来高昂的推理成本。AttDiff则通过单步去噪执行反向扩散过程,显著降低计算开销,同时保持生成多样修复结果的能力。在CelebA-HQ、Places2和DhMurals上的大量实验表明,AttDiff在图像真实感、生成多样性和语义可控性方面达到或优于现有方法,尤其在掩码比例较大的情况下。特别是,RASEM将掩码成对LPIPS从0.004提升至0.021,为其对属性控制多样性的贡献提供了定量证据。AttDiff仅需9.01 M可训练参数,并将推理时间缩短至每幅图像0.16秒,相比RePaint的296.90秒大幅提升。总体而言,结果表明AttDiff在增强修复多样性语义控制的同时,改善了上下文一致性和推理效率。代码可在https://github.com/nwuAI/AttDiff获取。

期刊

Applied Soft Computing 封面图
Applied Soft Computing
IF:
6.6
论文数:
1.4W
被引数:
4.8W

机构

暂无机构信息
引用论文

引用论文

err分享
err收藏
Image Melding: Combining Inconsistent Images using Patch-based Synthesis
err2012-07-01
err208
PREAI
errDarabi, Soheil; Shechtman, Eli; Barnes, Connelly; Goldman, Dan B.; Sen, Pradeep
err分享
err收藏
Deep learning for image inpainting: A survey用于图像修复的深度学习: 一项调查
err2023-02-01
err71
PREAI
errXiang, Hanyu; Zou, Qin; Nawaz, Muhammad Ali; Huang, Xianfeng; Zhang, Fan; Yu, Hongkai
err分享
err收藏
Image Inpainting Using Nonlocal Texture Matching and Nonlinear Filtering
err2019-04-01
err106
PREAI
errDing, Ding; Ram, Sundaresh; Rodriguez, Jeffrey J.
err分享
err收藏
学者 查看更多内容