Zero-Shot Text-Driven Dynamic Neural Radiance Fields Stylization

Wanlin Liang

doi:10.1109/TMM.2025.3565983

Zero-Shot Text-Driven Dynamic Neural Radiance Fields Stylization

2025-01-01

0

PRE

AI

DOI：10.1109/TMM.2025.3565983

原文链接

原文求助

摘要

En 中文

基于文本驱动的神经辐射场（NeRFs）风格迁移是一个新兴的研究方向，它利用文本描述而非参考风格图像来执行风格迁移。然而，现有用于风格化NeRF的方法主要难以扩展到4D动态场景，这是因为NeRF固有的静态环境局限性。此外，这些当前方法需要对每个特定文本输入进行训练，这使它们局限于单一风格描述，并显著阻碍了泛化能力和应用。在本文中，我们提出了一种新颖的零样本文本驱动4D风格迁移方法，该方法采用规范特征体将文本输入整合到CLIP的风格空间中。具体而言，我们利用预训练动态神经辐射场的几何先验，通过在预训练VGG编码器的监督下渲染特征图来训练规范特征体。然后，我们利用CLIP的多模态嵌入将文本描述与风格图像连接起来，并在CLIP的特征空间中学习一个规范的风格转换矩阵。实验表明，我们的方法实现了对动态神经辐射场的零样本文本驱动风格迁移，并保持了良好的多视角和跨时间一致性。

Keyword:

Dynamic scenes

novel view synthesis

text-driven stylization

Zero-Shot Text-Driven Dynamic Neural Radiance Fields Stylization

摘要

期刊

机构

引用论文