.png){kind=icon}
返回
DSM: Constructing a Diverse Semantic Map for 3D Visual Grounding
.png){kind=icon}
PRE
AI
DOI：10.1109/LRA.2026.3678129.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
有效的场景表示对于推理的视觉定位能力至关重要。然而，现有的3D视觉定位方法要么仅关注几何和视觉线索，要么像传统的3D场景图一样，缺乏复杂推理所需的多维属性。为了弥合这一差距，我们引入了一种新颖的场景表示框架，多样语义图（DSM），通过融合外观、物理和可及性等视觉语言模型（VLM）派生的语义属性，丰富鲁棒的几何地图。DSM首先通过在时间滑动窗口内融合多视角观测在线构建，创建场景知识的综合地图。在此基础上，我们提出了一种新的定位范式DSM-定位，将定位从自由式查询转变为在语义丰富的地图上对VLM进行结构化推理过程。广泛的评估验证了我们的方法的优势，提高了准确性和可解释性。DSM-定位在ScanRefer上实现了IoU@0.5的59.06%的总体准确率，超过了其他方法10%，在语义分割中，我们的DSM达到了67.93%的F-mIoU，在Replica中优于所有基线。此外，在物理机器人上成功部署用于复杂导航和抓取任务，证实了该框架在实际场景中的实用性。
Keyword:
Scene representation
3d scene graph
3d visual grounding
vlm
期刊
I
IF:
5.3
论文数:
1.9K
被引数:
3.9W
机构
引用论文
.png){kind=icon}
SceneVerse: Scaling 3D Vision-Language Learning for Grounded Scene UnderstandingSceneVerse: 扩展3D视觉-语言学习以实现基于锚定的场景理解
PREAI
分享收藏
查看更多内容