Light Field Angular Super-Resolution Conditional VAE Model Constrained by Spatial-Angular Consistency

邓小娟 Deng Xiaojuan

doi:10.3788/AOS251094

Light Field Angular Super-Resolution Conditional VAE Model Constrained by Spatial-Angular Consistency

2025-12-01

0

PRE

AI

DOI：10.3788/AOS251094

原文链接

原文求助

摘要

En 中文

目标在实际应用中，传统光场成像面临多重挑战，如光学设备成本高、相机物理尺寸受限以及传感器像素数量有限等因素。这些因素共同使得在角度和空间维度上同时实现高分辨率成像尤为困难。现有的光场角度超分辨率技术通过多种算法方法克服了传统光学系统的局限性，实现了更高品质的成像。然而，当前的光场采集技术在空间分辨率和角度分辨率之间存在固有的权衡，难以满足高精度应用的需求。利用空间-角度一致性实现光场角度超分辨率构成了计算成像领域的关键研究问题。本研究利用光场数据固有的空间-角度耦合特性，构建了空间-角度一致性约束的均方误差（MSE）损失函数和极线平面图像（EPI）损失函数，旨在优化生成的新视图中的几何结构。方法为实现光场角度超分辨率，我们提出了一种空间-角度一致性约束的条件变分自编码器（CVAE）模型，该模型以稀疏视点平面作为输入数据，并以视差图作为条件输入。我们网络模型的核心架构包含四个组件：编码器、解码器、特征提取模块和视差估计模块。具体而言，编码器在4D光场数据的空间-角度一致性约束下将输入数据转换到潜在空间，而解码器在相同约束下将潜在变量转换回原始数据空间。此外，为强制执行光场子孔径阵列的投影位置约束，我们设计了基于视点位置的MSE损失函数；为解决EPI固有的线性几何特征，我们设计了EPI损失函数。此外，我们将变分自编码器中传统使用的Kullback-Leibler（KL）散度替换为最大均值差异（MMD）损失，该损失与Wasserstein距离结合，用于测量潜在变量分布与真实数据分布之间的差异。结果与讨论为评估所提方法性能，我们在合成和真实光场数据集上将该方法与两种有监督深度学习方法（DistgASR和LFEPICNN）以及一种无监督方法（CVAE）进行比较。实验在合成HCI-4D光场数据集、斯坦福真实光场数据集以及本课题组采集的光场数据集上进行了3×3到7×7和3×3到9×9的角度超分辨率测试。在HCI-4D数据集的卧室、自行车、香草和折纸场景中，我们的方法相较于无监督的CVAE算法实现了更高的PSNR和SSIM分数，性能接近有监督学习算法（表3和表5）。为进一步验证所提方法的有效性和泛化能力，我们计算了斯坦福数据集30个场景和遮挡子集上的平均PSNR和SSIM。我们的算法在这些子集上相较于CVAE算法实现了0.23 dB和0.59 dB的PSNR提升，并获得了相应的SSIM提升（表7）。斯坦福数据集中汽车场景（图9）和遮挡16场景（图10）的视觉结果显示，我们的方法在结构细节（如汽车后视镜）和整体场景的重建上与有监督学习方法具有可比拟的保真度。此外，在课题组采集的真实世界盆景光场数据上，我们的方法超越了有监督的DistgASR方法，实现了1.28 dB的PSNR提升和1.19%的SSIM改善（表10）。为测试抗噪能力，我们在斯坦福汽车场景中引入了信噪比为30 dB、20 dB、10 dB和5 dB的加性高斯噪声。所提方法在信噪比高于10 dB时的性能几乎等同于无噪声条件下的性能（图13）。消融实验证实了各模块的有效性：独立或联合添加视差估计模块和EPI损失均能带来一致的PSNR提升（表13）。损失权重敏感性分析（图15）表明，过低的MMD权重会导致模糊重建，而不当的EPI权重会引入几何失真，强调了合理平衡损失权重的重要性。结论所提出的空间-角度一致性约束条件变分自编码器模型实现了对稀疏光场数据的高质量角度超分辨率。这通过构建子孔径投影位置MSE损失和基于EPI的空间-角度一致性损失来实现。实验结果表明，该方法在多种合成和真实数据集上实现了与有监督方法相当的超分辨率性能，同时表现出对未见场景的强泛化能力。未来工作中，我们将通过结合EPI参数化的线性约束、宏像素参数化的内部一致性以及子孔径阵列参数化，将不同参数化表示中的空间-角度一致性信息整合到一个更全面的模型中。通过在统一的优化框架内统一这些多样化的约束，我们预期将进一步提高光场角度超分辨率精度。

Keyword:

four-dimensional light field

spatial-angular consistency

angular super-resolution

conditional variational autoencoder model

Light Field Angular Super-Resolution Conditional VAE Model Constrained by Spatial-Angular Consistency

摘要

期刊

机构

引用论文