arrow
返回

Neural Defocus Light Field Rendering

delete2025-09-01
delete0
PRE
AI
H
He, Renzhi
H
Hualin Hong
周成 封面图
周成 (Cheng Zhou)
F
Fei Liu
DOI:10.1109/TPAMI.2025.3576638delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
光场相机在过去几十年中显著提升了传统成像方法和显微技术,为2D图像提供了高维信息并实现了多种应用。然而,其固有缺陷依然存在,主要源于复杂的光学设置和分辨率之间的权衡。在本工作中,我们提出了一种神经散焦光场(NDLF)渲染方法,该方法无需微透镜阵列即可构建光场,并达到与原始图像相同的分辨率。NDLF的基本单元是3D点扩散函数(3D-PSF),它通过引入景深轴扩展了2D-PSF。NDLF能够直接求解3D空间中PSF的分布,实现3D中PSF的直接操控,并加深对散焦过程的理解。NDLF通过将聚焦图像重新定义为NDLF的切片来实现聚焦图像的渲染,这些切片是3D-PSF横截面的叠加。NDLF使用三个多层感知器模块对3D-PSF进行调制,对应从粗到细的三个高斯基模型。NDLF在20张不同聚焦深度的超高分辨率(1024 × 1024)图像上进行训练,使其能够渲染任意给定聚焦深度的聚焦图像。预测聚焦图像与实测聚焦图像之间的结构相似性指数为0.9794。此外,我们开发了一套硬件系统,用于采集高分辨率聚焦图像及其对应的聚焦深度和深度图。NDLF实现了单镜头相机的高分辨率光场成像,并解析了3D空间中3D-PSF的分布,为新型光场合成技术和对散焦模糊的深入理解奠定了基础。
Keyword:
Computational imaging
defocus light field
light field
point spread function

期刊

IEEE Transactions on Pattern Analysis and Machine Intelligence 封面图
IEEE Transactions on Pattern Analysis and Machine Intelligence
IF:
18.6
论文数:
1.1K
被引数:
9.8W

机构

C
Chongqing University
学者数:
5.1W
论文数: 4.1W
被引数: 6.0W
引用论文

引用论文

err分享
err收藏
Neural Lens Modeling
err2023-06-01
err0
PREAI
errWenqi Xian; Aljaž Božič; Noah Snavely; Christoph Lassner
err分享
err收藏
err
IF0
err
err0
PREAI
err
err分享
err收藏
Fourier Depth of Field
err2009-05-13
err69
errOAAI
errSoler, Cyril; Subr, Kartic; Durand, Fredo; Holzschuch, Nicolas; Sillion, Francois
err分享
err收藏
Compressive Light Field Photography using Overcomplete Dictionaries and Optimized Projections
err2013-07-21
err274
errOAAI
errMarwah, Kshitij; Wetzstein, Gordon; Bando, Yosuke; Raskar, Ramesh
err分享
err收藏
Defocus Map Estimation and Deblurring from a Single Dual-Pixel Image
err2021-10-01
err0
errOAAI
errShumian Xin; Neal Wadhwa; Tianfan Xue; Jonathan T. Barron; Pratul P. Srinivasan; Jiawen Chen; Ioannis Gkioulekas; Rahul Garg
err分享
err收藏
学者 查看更多内容