.png){kind=icon}
返回
Inserting Objects into Any Background Images via Implicit Parametric Representation
.png){kind=icon}
PRE
AI
DOI：10.1109/TVCG.2024.3498065.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
将物体插入背景场景在图像编辑和混合现实领域具有广泛的应用。然而，现有方法在将物体无缝适应背景的同时保持其个体特征方面仍面临挑战。在本文中，我们提出微调一个预训练的基于扩散的插入模型，使其能够学习在输入的少量物体图像（few-shot images）的基础上，建立少数权重（few weights）与目标物体之间的独特对应关系。设计了一种新颖的个体化特征提取（Individualized Feature Extraction, IFE）模块，用于从少量物体图像中提取个体细节特征。然后，将目标物体的个体特征、目标物体的语义特征以及由预训练图像编码器提取的背景上下文特征，注入到潜在扩散模型的交叉注意力模块中，使其能够通过注意力机制学习目标物体与背景场景之间的关联信息。通过微调获得的权重隐式地作为目标物体的替代表示，利用这种表示可以轻松地将物体插入到任何背景图像中。大量的比较实验验证了所提出的方法在保持插入物体的个体细节和适应背景场景方面的优越性，包括允许插入物体与背景场景的交互、正确处理它们之间的遮挡关系、保持它们视角和姿态的一致性。
Keyword:
Object insertion
implicit parametric representation
latent diffusion model
insertion strategy
期刊
IF:
6.5
论文数:
355
被引数:
2.2W
机构
引用论文
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks更快的r-cnn: 基于区域建议网络的实时目标检测
OAAI
OAAI分享收藏Paste and Harmonize via Denoising: Subject-Driven Image Editing with Frozen Pre-Trained Diffusion Model.png)
ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
PREAI
分享收藏Encoder-based Domain Tuning for Fast Personalization of Text-to-Image Models基于编码器的域调整，用于文本到图像模型的快速个性化
OAAI
OAAI分享收藏ARShadowGAN: Shadow Generative Adversarial Network for Augmented Reality in Single Light Scenes
PREAI
分享收藏分享收藏
查看更多内容