Generative object insertion in Gaussian splatting with a multi-view diffusion model

Hongliang Zhong

doi:10.1016/j.visinf.2025.100238

2025-06-01

DOI：10.1016/j.visinf.2025.100238

原文链接

查看原文

摘要

En 中文

在3D内容中生成并插入新对象是实现多样化场景重建的一种有前景的方法。现有方法依赖SDS优化或单视图修复，通常难以生成高质量结果。为解决此问题，我们提出了一种面向由高斯散点图（Gaussian Splatting）表示的3D内容的对象插入新方法。我们提出的方法引入了一种多视图扩散模型MVInpainter，该模型基于预训练的稳定视频扩散模型构建，以促进视图一致的物体修复。在MVInpainter中，我们整合了基于ControlNet的条件注入模块，以实现可控且更可预测的多视图生成。在生成多视图修复结果后，我们进一步提出了一种基于掩码感知的3D重建技术，用于从这些稀疏修复视图中优化高斯散点图重建。通过利用这些构建技术，我们的方法能够生成多样化结果，确保视图一致且和谐的插入，并提升物体质量。大量实验表明，我们的方法优于现有方法。

Keyword:

3D generation

Diffusion model

Neural rendering

Gaussian splatting