Constraint-Aware Zero-Shot Vision-Language Navigation in Continuous Environments

Kehan Chen

doi:10.1109/TPAMI.2025.3594204

Constraint-Aware Zero-Shot Vision-Language Navigation in Continuous Environments

0

OA

AI

DOI：10.1109/TPAMI.2025.3594204

原文链接

原文求助

摘要

En 中文

我们针对连续环境下的视觉语言导航（VLN-CE）任务，在零样本设置下进行研究。零样本VLN-CE尤其具有挑战性，因为缺乏用于训练的专家演示，且环境结构先验信息有限，无法有效指导导航。为应对这些挑战，我们提出了一个约束感知导航器（CA-Nav），将零样本VLN-CE重新表述为一个序列化、约束感知的子指令完成过程。CA-Nav通过两个核心模块——约束感知子指令管理器（CSM）和约束感知价值映射器（CVM）——持续将子指令转化为导航计划。CSM将分解的子指令的完成标准定义为约束，并通过约束感知的方式切换子指令来跟踪导航进度。CVM在CSM约束的指导下，动态生成价值图，并利用超像素聚类进行优化，以提高导航稳定性。CA-Nav在两个VLN-CE基准测试中取得了最佳性能，在R2R-CE和RxR-CE验证集未见分区的成功率上，分别超越了先前最佳方法12%和13%。此外，CA-Nav在各类室内场景和指令下的真实机器人部署中，也展示了其有效性。

Keyword:

Vision-language navigation (VLN)

constraint-aware (CA)

value map

zero-shot

Constraint-Aware Zero-Shot Vision-Language Navigation in Continuous Environments

摘要

期刊

机构

引用论文