Large-Angle Three-Dimensional Light Field Reconstruction Algorithm Based on Dual-Viewpoint Acquisition

Guo, Rongxuan

doi:10.3788/AOS251455

Large-Angle Three-Dimensional Light Field Reconstruction Algorithm Based on Dual-Viewpoint Acquisition

2026-03-01

1

PRE

AI

DOI：10.3788/AOS251455

原文链接

原文求助

摘要

En 中文

目标三维（3D）光场显示技术已作为一种有前景的下一代沉浸式视觉体验解决方案。然而，传统的采集方法需要大量密集采样的视点来捕获高保真光场数据，这带来了显著的硬件成本并限制了实际应用。特别是在大基线配置或广角显示场景中，前景和背景物体之间的遮挡往往导致严重的信息损失，对精确的3D场景重建构成重大挑战。为克服这些限制，本研究提出了一种基于双视点采集的新型3D光场重建算法，旨在仅使用两个输入视点合成宽角度范围内的密集视点图像。该方法以遮挡补全问题为核心创新，利用扩散模型的最新进展有效恢复缺失的场景细节，同时保持空间一致性。方法所提出的框架包含两个关键阶段：基于立体扩散的遮挡补全模块和基于3D高斯体的体渲染模块。在第一阶段，使用一对稀疏采样的图像（角度间隔最高60度）通过未标定密集立体重建生成初始点云。然后采用潜在扩散模型补全点云渲染中的缺失区域，特别针对传统立体匹配因缺乏对应关系而失败的遮挡区域。这些遮挡区域指的是3D场景中由于两个输入视点之间的可视性约束而导致重建点云变得稀疏、不连续或缺失的空间位置。这些区域通常缺乏可靠的深度和几何信息，使得传统立体方法难以恢复。为解决此问题，所提出的扩散模型（基于改进的潜在去噪扩散概率模型（DDPM）设计）通过建模渲染点云图像与对应真实图像之间的残差映射，学习恢复这些几何不完整区域。该过程在低维潜在空间中进行，模型逐步将嘈杂的潜在表示细化至照片级真实感输出，确保与周围上下文的一致性和结构连贯性。值得注意的是，此训练过程不需要显式的遮挡区域标注；相反，模型通过去噪目标自动学习推断和补全缺失内容。扩散模型的输入包括24个点云渲染图像（每个带有8通道特征图）以及作为条件指导的参考图像编码。在第二阶段，完成的中间视点用于构建3D高斯体素化（3D-GS）表示，实现跨连续视点空间的体渲染。这种组合使所提出的方法能够合成几何一致的密集视点图像，适用于高保真3D显示应用。结果与讨论为评估所提出方法的有效性，我们在一个主要由人像图像组成的大角度光场数据集上进行了大量实验。每个实验组涉及使用仅有的两个输入图像重建96个密集视点，这些图像的角度间隔范围为10度至60度。将性能与三种代表性基线进行比较：1）基于光流的方法，2）具有9个均匀间隔输入视点的3D-GS方法，3）无后续高斯渲染的扩散模块独立输出。采用峰值信噪比（PSNR）和结构相似性指数（SSIM）进行定量评估以评估合成视点的视觉保真度。在最具挑战性的60度角度跨度设置下，所提出方法达到32.02 dB的PSNR和0.9482的SSIM，显著优于光流插值方法（22.85 dB，0.8636）和3D高斯体素化基线（21.98 dB，0.8414）。即使在仅使用立体扩散补全模块而不进行体渲染的情况下，该方法也保持了26.92 dB的PSNR和0.9075的SSIM的较强性能。在其他角度跨度中也观察到类似的性能优势，展示了所提出框架在宽视场范围上的鲁棒性和泛化能力。为进一步验证方法处理遮挡的有效性，我们引入了遮挡感知的局部质量分析。使用RAFT模型的往返一致性双向光流计算遮挡掩码，并将大光流不一致区域标记为遮挡。这些掩码叠加在输入图像上用于可视化，并用于隔离前景遮挡区域以进行针对性评估。结果显示，我们的方法在遮挡区域内实现了更优的重建保真度，在保持结构连续性和恢复纹理细节方面具有明显优势，尤其是在其他方法出现伪影或几何失真的复杂场景中。最后，将重建的光场图像加载到65英寸3D光场显示器上进行可视化。合成结果展示平滑的视差过渡和正确的空间感知，证实了该方法在大角度3D光场显示场景中的有效性。结论本研究提出了一种基于双视点的3D光场重建算法，能够在最小输入数据下生成宽角度范围内的密集、高质量光场图像。通过整合用于遮挡补全的立体扩散模型和用于空间一致合成的3D高斯渲染框架，所提出的方法有效解决了稀疏视点采集和遮挡引起的数据损失挑战。实验结果表明，我们的方法不仅在全局重建质量上超越了现有技术，还在准确恢复遮挡区域方面展现出显著优势。尽管当前实现尚未达到实时性能（生成96个视点约需2-3分钟），未来工作将探索网络优化和加速策略以提升推理速度。该方法的高保真度、低输入要求和处理大视场角的能力使其成为实用3D光场显示系统的有前景解决方案。

Keyword:

light field reconstruction

sparse viewpoint acquisition

diffusion model

three-dimensional display

dense-viewpoint generation

Large-Angle Three-Dimensional Light Field Reconstruction Algorithm Based on Dual-Viewpoint Acquisition

摘要

期刊

机构

引用论文