返回
Motion-driven 4D scene generation
DOI:10.1007/s11432-024-4881-y.png)
摘要
En 中文
近年来,图像/视频生成模型和学习型动态场景表示的进展使得4D场景的轻松创建成为可能。然而,如何实现更可控的运动生成而非仅提供高层文本提示的问题尚未得到充分探索。本文提出了一种创新方法,利用用户指定的动作路径来指导4D场景生成。运动控制的4D场景生成的主要挑战在于运动的时间变化以及高时间一致性要求。为解决这些问题,我们的方法引入了自适应运动对齐模块以增强生成运动的自然性,该模块动态同步动作路径域中的运动与时间域中的对应内容。此外,为减轻过度运动引起的伪影,我们引入了渐进式运动驱动模块,通过增强运动控制来确保高质量输出。实验结果表明,在执行运动控制的4D场景生成方面,我们的方法具有优越性。
Keyword:
4D generation
dynamic 3D scene
diffusion model
motion control
temporal consistency
期刊
S
IF:
7.6
论文数:
149
被引数:
0

