.png){kind=icon}
返回
S2ML: Spatio-Spectral Mutual Learning for Depth Completion
.png){kind=icon}
PRE
AI
DOI：10.1109/TMM.2025.3639949.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
由RGB-D相机通过飞行时间（Time-of-Flight, TOF）或结构光捕获的原始深度图像，常因弱反射、边界阴影和伪影而出现不完整的深度值，这限制了其在下游视觉任务中的应用。现有方法通过图像域的深度补全来解决此问题，但忽视了原始深度图像的物理特性。观测发现，无效深度区域的存在会改变频率分布模式。本文提出了一种时空-频谱互学习框架（S2ML），以调和空间域和频域在深度补全中的优势。具体而言，我们考虑了振幅和相位频谱的特有属性，并设计了专门的频谱融合模块。同时，在统一的嵌入空间中计算空间域与频域特征之间的局部和全局相关性。渐进的互表示与精炼促使网络充分探索互补的物理特性和先验，以实现更精确的深度补全。大量实验证明，所提出的S2ML方法有效，在NYU-Depth V2和SUN RGB-D数据集上分别超越当前最佳方法CFormer 0.828 dB和0.834 dB。
Keyword:
Depth completion
RGB-Depth fusion
Fourier domain
indoor scene
期刊
IF:
9.7
论文数:
4.5K
被引数:
2.4W
机构
引用论文
.png){kind=icon}
查看更多内容