Joint Absolute-Relative Relation Network for Robust Depth Completion

Bingyuan Chen

doi:10.1109/tcsvt.2026.3745343

Joint Absolute-Relative Relation Network for Robust Depth Completion

2026-10-22

0

PRE

AI

DOI：10.1109/tcsvt.2026.3745343

原文链接

原文求助

摘要

En 中文

从2D视觉图像和稀疏深度测量中完成密集深度图对于鲁棒地感知3D场景至关重要。现有的端到端模型在领域内设置下取得了显著进展，但在真实场景中泛化能力较差。一个限制在于这些模型严重依赖绝对L1和L2关系来学习同一场景中的绝对距离，或依赖相对尺度不变关系来学习跨场景泛化的相对几何。然而，这两种范式都无法在深度补全中实现跨场景泛化。同时保留相对几何和绝对距离的端到端网络仍是一个挑战。尽管近期方法利用预训练深度基础模型的相对几何先验来提升泛化能力，但该挑战仍未解决。为克服此挑战，我们提出一种包含三个可学习因子（比例、偏移和概率）的新型联合绝对-相对关系。该关系同时利用地面真实深度和稀疏深度图约束输出深度图的绝对距离和相对几何。基于此关系，我们提出一种新的端到端网络架构，包含视觉和精炼两个顺序分支用于深度补全。这两个分支分别学习场景的相对几何和绝对距离。视觉分支利用改进的U-Net从稀疏深度生成密集深度，精炼分支利用另一个改进的U-Net基于稀疏深度和密集深度中的三个可学习因子学习三幅图。最终，通过我们的联合关系，用这三个学习到的图精炼输出密集深度。我们的模型在混合室内外数据集上训练，并在十个未见数据集上进行广泛评估，这些数据集包含广泛模拟和原始稀疏深度点。我们的模型在平均性能上优于现有端到端模型，甚至在与近期预训练方法的准确性和复杂度权衡方面达到最佳。

Keyword:

Depth completion

sparse depth

generalization

end-to-end network

depth foundation model

Joint Absolute-Relative Relation Network for Robust Depth Completion

摘要

期刊

机构

引用论文