.png){kind=icon}
返回
Monocular Multi-Object 3D Visual Language Tracking
.png){kind=icon}
PRE
AI
DOI：10.1109/TIP.2026.3661407.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视觉语言跟踪（VLT）使机器能够通过类人语言描述在现实世界中执行跟踪。然而，现有的VLT方法仅限于2D空间跟踪或单目标3D跟踪，不支持单目视频中的多目标3D跟踪。这一限制源于3D多目标跟踪的进步主要依赖于基于传感器的数据（如点云、深度传感器），而这些数据缺乏相应的语言描述。此外，现有VLT文献中的自然语言描述通常存在冗余，阻碍了多目标的高效精确定位。我们提出了一种将VLT扩展到多目标3D跟踪的首创技术，使用单目视频。我们介绍了一个综合框架，包括（i）一个单目多目标3D视觉语言跟踪（MoMo-3DVLT）任务，（ii）一个为此任务量身定制的大规模数据集MoMo-3DRoVLT，以及（iii）一个定制神经网络模型。我们的数据集借助大型语言模型（LLMs）和人工验证生成，包含8,216个视频序列，标注了2D和3D边界框，每个序列附带三个自由生成的人类水平文本描述。我们提出MoMo-3DVLTracker，首个专为MoMo-3DVLT设计的神经网络模型。该模型整合了多模态特征提取器、视觉语言编码-解码器以及检测和跟踪模块，为MoMo-3DVLT建立了强大的基线。超越现有范式，它引入了一种任务特定的结构耦合，将可微的链式记忆机制与深度引导和语言条件推理相结合，以实现鲁棒的单目3D多目标跟踪。实验结果表明，我们的方法在MoMo-3DRoVLT数据集上优于现有方法。我们的数据集和代码可在https://github.com/hongkai-wei/MoMo-3DVLT获取。
Keyword:
Scene understanding
multi-object tracking
visual-language model
3D object tracking
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W
机构
引用论文
.png){kind=icon}
Mamba Adapter: Efficient Multi-Modal Fusion for Vision-Language TrackingMamba Adapter：视觉语言跟踪的高效多模态融合
PREAI
分享收藏
分享收藏LMTTM-VMI: Linked Memory Token Turing Machine for 3D volumetric medical image classificationLmttm-vmi: 用于3D体积医学图像分类的链接内存令牌图灵机
PREAI
分享收藏
查看更多内容