.png){kind=icon}
返回
Self-Supervised Multi-Camera Collaborative Depth Prediction With Latent Diffusion Models
.png){kind=icon}
PRE
AI
DOI：10.1109/TITS.2025.3571027.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
从图像中估计深度图是自动驾驶应用中的一个关键任务。现有方法可分为两类：多视图立体视觉和单目深度估计。前者需要相机具有较大的重叠区域和足够的基线，而后者独立处理每张图像，难以保证相机间的结构一致性。在本文中，我们提出了一种新颖的自监督多相机协作深度预测方法，结合潜在扩散模型，无需较大重叠区域即可保持相机间的结构一致性。具体而言，我们引入了MCDP，一种新的生成基础模型，用于估计多相机的深度属性。我们将深度估计表述为深度基的加权组合，其中权重通过循环细化策略迭代更新。在迭代更新过程中，跨相机的深度估计结果进行比较，并借助扩散过程中的基表述，将重叠区域的信息传播到整个深度图。我们将基于GRU的权重网络集成到扩散过程中，使细化的隐藏状态作为条件输入，以精确控制下一步迭代的去噪过程。此外，通过引入所提出的深度一致性损失，我们确保了相机间的结构一致性，即使在重叠极小的区域也是如此。在DDAD、NuScenes、Cityscapes和Waymo开放数据集上的实验结果证明了我们方法的优势性能，并对下游任务提供了很大帮助。
Keyword:
Multiple cameras
depth estimation
diffusion models
期刊
IF:
8.4
论文数:
9.7K
被引数:
6.3W
机构
引用论文
.png){kind=icon}
查看更多内容