Semantic Decoupling Based Semantic Scene Completion From a Single Depth Image

Qiongli Xu

doi:10.1109/LRA.2025.3634907

Semantic Decoupling Based Semantic Scene Completion From a Single Depth Image

2025-11-19

0

PRE

AI

DOI：10.1109/LRA.2025.3634907

原文链接

原文求助

摘要

En 中文

语义场景补全（SSC）是一项同时预测环境占用和语义标签的任务。与分别处理相比，SSC利用了场景补全和语义分割的耦合特性。尽管这种多任务集成可以利用任务间的互补性和相关性，但也增加了训练难度。为解决这一问题，本封信中，我们提出了一种基于语义解耦的语义场景补全（SD-SSC）网络，从单一深度图像出发。将语义分割任务与语义场景补全任务解耦，并使用2D和3D语义监督来简化场景补全任务并提升SSC性能。具体而言，我们的网络首先对深度图像执行2D语义分割，并将特征转换到3D体素空间作为语义先验。然后，基于体素特征和翻转截断有符号距离场（f-TSDF）执行3D SSC。我们使用多尺度3D语义监督进一步增强语义信息，并通过平面注意力融合模块（PAFM）融合语义和几何特征，以获得准确的SSC结果。所提出的SD-SSC网络在NYU数据集（51.1% mIoU）和NYUCAD数据集（61.9% mIoU）上，在所有基于单一深度图像的方法中达到了最先进（state-of-the-art）性能，甚至优于大多数基于RGB-D融合的SSC方法。

Keyword:

Semantic scene understanding

RGB-D perception

deep learning for visual perception

Semantic Decoupling Based Semantic Scene Completion From a Single Depth Image

摘要

期刊

机构

引用论文