arrow
返回

Super-NeRF: View-Consistent Detail Generation for NeRF Super-Resolution

delete2024-01-01
delete0
PRE
AI
韩雨琪 封面图
韩雨琪 (Yuqi Han)
于涛 封面图
于涛 (Tao Yu)
X
Xiaohang Yu
D
Di Xu
B
Binge Zheng
Z
Zonghong Dai
C
Changpeng Yang
王玉旺 封面图
王玉旺 (Yuwang Wang)
戴
戴琼海 (Qionghai Dai)
DOI:10.1109/TVCG.2024.3490840delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
神经辐射场(NeRF)在3D场景建模和高保真新视角合成方面取得了显著成功。然而,现有的NeRF方法更注重充分利用高分辨率图像生成高分辨率新视角,而较少考虑仅基于低分辨率图像生成高分辨率细节。类比于图像超分辨率的广泛应用,NeRF超分辨率是生成低分辨率引导的高分辨率3D场景的有效途径,并具有巨大的潜在应用价值。迄今为止,这一重要主题仍处于探索不足的状态。在本文中,我们提出了一种名为Super-NeRF的NeRF超分辨率方法,用于仅从低分辨率输入生成高分辨率NeRF。给定多视角低分辨率图像,Super-NeRF构建了一个多视角一致性控制的超分辨率模块,以生成满足视角一致性的各种高分辨率细节。具体而言,为每个输入视角引入了一个可优化的潜在代码,用于控制生成满足视角一致性的合理高分辨率2D图像。每个低分辨率图像的潜在代码与目标Super-NeRF表示协同优化,以利用NeRF构建中固有的视角一致性约束。我们在合成、真实世界乃至AI生成的NeRF上验证了Super-NeRF的有效性。Super-NeRF在生成高分辨率细节和跨视角一致性方面实现了NeRF超分辨率的最新技术水平。
Keyword:
Neural radiance field
explorable super-resolution
3D view consistency
perceptual generation network

期刊

IEEE Transactions on Visualization and Computer Graphics 封面图
IEEE Transactions on Visualization and Computer Graphics
IF:
6.5
论文数:
346
被引数:
2.2W

机构

M
migu company
学者数:
2
论文数: 2
被引数: 1
T
tsinghua university
学者数:
11.9W
论文数: 10.0W
被引数: 137
H
huawei cloud inc, shenzhen, china
学者数:
3
论文数: 1
被引数: 1
学者 查看更多机构
引用论文

引用论文

Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video
err2021-10-01
err0
errOAAI
errEdgar Tretschk; Ayush Tewari; Vladislav Golyanik; Michael Zollhofer; Christoph Lassner; Christian Theobalt
err分享
err收藏
SRDiff: Single image super-resolution with diffusion probabilistic modelsSRDiff: 具有扩散概率模型的单幅图像超分辨率
err2022-03-01
err330
errOAAI
errLi, Haoying; Yang, Yifan; Chang, Meng; Chen, Shiqi; Feng, Huajun; Xu, Zhihai; Li, Qi; Chen, Yueting
err分享
err收藏
Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines局部光场融合: 具有规定采样指南的实用视图合成
err2019-07-12
err612
errOAAI
errMildenhall, Ben; Srinivasan, Pratul P.; Ortiz-Cayon, Rodrigo; Kalantari, Nima Khademi; Ramamoorthi, Ravi; Ng, Ren; Kar, Abhishek
err分享
err收藏
Making a Completely Blind Image Quality Analyzer制作全盲图像质量分析仪
err2013-03-01
err4.2K
PREAI
errMittal, Anish; Soundararajan, Rajiv; Bovik, Alan C.
err分享
err收藏
NeRF-SR: High Quality Neural Radiance Fields using Supersampling
err2022-10-10
err0
errOAAI
errChen Wang; Xian Wu; Yuan-Chen Guo; Song-Hai Zhang; Yu-Wing Tai; Shi-Min Hu
err分享
err收藏
DiffIR: Efficient Diffusion Model for Image Restoration
err2023-10-01
err0
errOAAI
errBin Xia; Yulun Zhang; Shiyin Wang; Yitong Wang; Xinglong Wu; Yapeng Tian; Wenming Yang; Luc Van Gool
err分享
err收藏
BARF: Bundle-Adjusting Neural Radiance Fields
err2021-10-01
err0
errOAAI
errChen-Hsuan Lin; Wei-Chiu Ma; Antonio Torralba; Simon Lucey
err分享
err收藏
学者 查看更多内容