.png){kind=icon}
返回
SCSV: Spatial-Temporal Consistent Dynamic 3D Scene Generation From Sparse Views
.png){kind=icon}
PRE
AI
DOI：10.1109/TIP.2026.3671692.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
从图像生成动态场景已引起越来越多的关注。现有方法存在两大主要局限性：1）它们几乎无法处理表现出有限几何约束和不足运动的稀疏图像；2）在渲染多视图视频时，它们难以保持时空一致性。为解决这些局限性，我们提出了SCSV，一种基于稀疏视图的时空一致动态场景生成方法。我们的方法包含两个阶段：场景重建和场景扩展，两者均将背景与前景分离。在场景重建阶段，我们首先基于视频生成模型在输入图像之间插值生成一组图像，随后对插值和输入图像进行场景高斯优化。为提高重建场景的时空一致性，我们提出了一种不确定性感知的高斯训练方法，该方法引入了图像和像素的自适应权重。在场景扩展阶段，对于背景，我们渲染新视图并通过几何感知扩散过程进行细化。这些细化图像随后用于增量添加高斯。至于前景，我们根据先前运动生成人体运动，实现运动的时序连贯生成。为进一步增强物理合理性，我们利用重力感知对齐将扩展的前景整合到背景中。在NeuMan、Bonn和EMDB数据集上的实验表明，我们的SCSV方法相较于当前最优方法实现了更优的性能。代码将在接受后发布。
Keyword:
Dynamic scene generation
spatial-temporal consistent
Gaussian splatting
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W
机构
引用论文
VideoScore: Building Automatic Metrics to Simulate Fine-grained Human Feedback for Video Generation
.png){kind=icon}
PREAI
分享收藏
查看更多内容