Spatial Multimodal Knowledge-Driven 3D Scene Graph Prediction With Vision-Language Model

H. S. Hou

doi:10.1109/tcsvt.2026.3664122

Spatial Multimodal Knowledge-Driven 3D Scene Graph Prediction With Vision-Language Model

2026-06-01

0

PRE

AI

DOI：10.1109/tcsvt.2026.3664122

原文链接

原文求助

摘要

En 中文

对3D环境的深入理解不仅涉及定位和识别单个物体，还需要推断它们之间的关系和交互。然而，现有方法大多严重依赖场景特定内容，由于现实世界3D场景的嘈杂、杂乱和部分性特征，导致性能不佳。本研究发现，源于支撑关系的3D环境固有层次结构有助于自动关联物体的语义和空间排列，并提供独立于特定场景的丰富几何和拓扑信息。为此，我们提出了一种利用3D环境层次结构作为空间多模态知识的3D场景图生成模型，以增强3D场景图生成。具体而言，我们首先设计了一种跨模态调优方法，通过视觉提示的视觉语言模型以低资源方式推断物体间的支撑关系。随后，利用微调后的视觉语言模型构建层次视觉图和层次符号知识图，分别提取上下文视觉内容和相关文本事实。最后，通过新型图推理网络关联上下文视觉内容和文本事实，逐步累积关于层次结构的3D空间多模态知识。此外，为更好地评估3D场景图生成模型的性能，我们通过重组广泛使用的3D场景图生成数据集3DSSG，提出了新基准3DSSG-M，该重组平衡了3DSSG的谓词分布并减少了频率偏差的影响。广泛的实验结果和消融研究证实了3D环境中层次结构的有效性，并展示了我们提出的方法优于当前最先进竞争方案。

Keyword:

Three-dimensional displays

Visualization

Vision language model

Solid modeling

Semantics

Knowledge graphs

Point cloud compression

Feature extraction

Electronic mail

Tuning

3D scene understanding

3D scene graph generation

multi-modal knowledge

vision-language model

Spatial Multimodal Knowledge-Driven 3D Scene Graph Prediction With Vision-Language Model

摘要

期刊

机构

引用论文