返回
Attribute-controlled diffusion model for diverse image inpainting
DOI:10.1016/j.asoc.2026.116396.png)
摘要
En 中文
扩散模型在图像修复中展现了强大的生成能力,通过随机采样可从同一不完整输入生成多样且合理的补全结果。然而,这种采样驱动的多样性对生成内容的语义属性控制有限,难以获得具有明确指定属性的多样修复结果。为解决此挑战,我们提出AttDiff,一种用于多样图像修复的属性控制扩散模型。所提出的随机属性选择与编辑机制(RASEM)将明确的属性级控制引入生成过程。它自动选择与输入图像关联的属性,同时允许用户编辑和重组它们以构建不同的语义配置。通过这种方式,随机生成可由明确的属性组合引导,产生具有受控语义属性的显著修复结果。同时,生成内容应与可见图像上下文保持一致。因此,自适应融合模块(AFM)将合成区域与观察内容自适应地整合,促进平滑过渡并减少边界处的差异。传统的基于扩散的修复通常依赖迭代反向去噪,这会带来高昂的推理成本。AttDiff则通过单步去噪执行反向扩散过程,显著降低计算开销,同时保持生成多样修复结果的能力。在CelebA-HQ、Places2和DhMurals上的大量实验表明,AttDiff在图像真实感、生成多样性和语义可控性方面达到或优于现有方法,尤其在掩码比例较大的情况下。特别是,RASEM将掩码成对LPIPS从0.004提升至0.021,为其对属性控制多样性的贡献提供了定量证据。AttDiff仅需9.01 M可训练参数,并将推理时间缩短至每幅图像0.16秒,相比RePaint的296.90秒大幅提升。总体而言,结果表明AttDiff在增强修复多样性语义控制的同时,改善了上下文一致性和推理效率。代码可在https://github.com/nwuAI/AttDiff获取。
期刊
IF:
6.6
论文数:
1.4W
被引数:
4.8W
机构
暂无机构信息
引用论文
Dual-branch crack segmentation network with multi-shape kernel based on convolutional neural network and Mamba基于卷积神经网络和Mamba的多形状核双分支裂缝分割网络
Tensorized Fine-Grained Incomplete Multiview Clustering via Intrinsic Structure Recovery张量化的细粒度不完整多视图聚类通过内在结构恢复
WaveRecovery: Screen-shooting Watermarking based on Wavelet and RecoveryWaveRecovery:基于小波和恢复的屏幕截图水印技术

