返回
PSF-4D: A progressive sampling framework for view-consistent 4D editing
DOI:10.1016/j.cag.2026.104645.png)
摘要
En 中文
指令引导的生成模型,特别是使用文本到图像(T2I)和文本到视频(T2V)扩散框架的模型,近年来推动了内容编辑领域的发展。为将这些能力扩展到4D场景,我们提出了一种用于4D编辑的渐进采样框架(PSF-4D),通过直观控制前向扩散过程中的噪声初始化来确保时序和多视角一致性。为增强时序一致性,我们设计了一种相关的高斯噪声结构,将帧与时间关联,使每帧能有意义地依赖先前帧。此外,为确保跨视角的空间一致性,我们实现了一个跨视角噪声模型,通过共享和独立噪声组件平衡不同视角间的共性及细节差异。为进一步提升空间一致性,PSF-4D引入了视角一致的迭代细化,将视角感知信息嵌入去噪过程,确保帧间和视角间的对齐编辑。我们的方法能在不依赖外部模型的情况下实现高质量的4D编辑,解决了先前方法中的关键挑战。通过在多个基准和多种编辑任务(如风格迁移、多属性编辑、对象移除、局部编辑等)上的广泛评估,我们展示了所提方法的有效性。实验结果表明,所提方法在多样化基准上优于当前最先进的4D编辑方法。
Keyword:
Diffusion Models
4D editing
4D Gaussian Splatting
期刊
C
IF:
2.8
论文数:
110
被引数:
0
机构
引用论文
暂无论文信息


