.png){kind=icon}
返回
Weakly-Supervised 3D Visual Grounding Based on Visual Language Alignment
.png){kind=icon}
PRE
AI
DOI：10.1109/TMM.2025.3599032.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
学习将自然语言查询与3D点云中的目标对象或区域进行视觉定位对于3D场景理解至关重要。然而，现有的3D视觉定位方法需要大量文本查询的边界框标注，获取这些标注既耗时又费力。在本文中，我们提出了3D-VLA，一种基于视觉语言对齐（Visual Language Alignment）的弱监督3D视觉定位方法。我们的3D-VLA利用当前大型视觉语言模型（VLMs）在文本与2D图像语义对齐方面的卓越能力，以及2D图像与3D点云之间自然存在的对应关系，从而在无需训练过程中提供精细边界框标注的情况下，隐式地构建文本与3D点云之间的对应关系。在推理阶段，学习到的文本-3D对应关系将帮助我们即使在没有2D图像的情况下也能将文本查询定位到3D目标对象。据我们所知，这是首次通过引入大型视觉语言模型以弱监督方式研究3D视觉定位的工作，并在ReferIt3D和ScanRefer数据集上的大量实验表明，我们的3D-VLA在性能上达到了与全监督方法相当甚至更优的结果。
Keyword:
Visual grounding
vision-language fusion
contrastive learning
期刊
IF:
9.7
论文数:
4.6K
被引数:
2.4W
机构
引用论文
暂无论文信息