.png){kind=icon}
返回
Learning and grounding visual multimodal adaptive graph for visual navigation
.png){kind=icon}
PRE
AI
DOI：10.1016/j.inffus.2025.103009.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视觉导航需要智能体合理感知环境并有效导航至给定目标。在此任务中，我们提出了一种基于物体关系的多模态自适应图（MAG）用于学习和锚定视觉线索。MAG包含关键导航要素：物体相对位置关系、先前导航动作、过往训练经验以及目标物体。这使智能体能准确收集多模态信息并更快找到目标。技术上，我们的框架通过预训练的视觉-语言锚定模型的连续建模来对齐多模态图、文本信息与视觉感知。对于输出，我们在图的值估计（GVE）函数上引入约束以监督智能体预测最优动作，这有助于其摆脱僵局。借助MAG，智能体能有效感知环境并获得最优动作。我们使用人类演示和碰撞信号训练该框架。结果表明，在AI2THOR环境中，相较于基线方法，我们的方法在SPL（按路径长度加权的成功率）上提升了10.1%，在成功率上提升了25.4%。我们的代码将在科学界公开发布。
Keyword:
Visual navigation
Knowledge graph
Reinforcement learning
vision-language grounding
Graph inspired policy
期刊
IF:
15.5
论文数:
4.2K
被引数:
2.7W
机构
暂无机构信息
引用论文
Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations视觉基因组: 使用众包密集图像注释连接语言和视觉
OAAI
OAAI分享收藏NeoNav: Improving the Generalization of Visual Navigation via Generating Next Expected Observations
OAAI
OAAI分享收藏Quantum Bayesian inference for parameter estimation using quantum generative model利用量子生成模型的量子贝叶斯推断进行参数估计
PREAI
分享收藏A unified deep sparse graph attention network for scene graph generation.png)
PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
查看更多内容