Reinforcement Learning-Based Routing Framework Guided by Vision–Language Model

Zhaochen Guo

doi:10.1109/tnnls.2026.3727131

Reinforcement Learning-Based Routing Framework Guided by Vision–Language Model

2026-09-01

0

PRE

AI

DOI：10.1109/tnnls.2026.3727131

原文链接

原文求助

摘要

En 中文

多阶段电缆布线要求机器人成功将电缆穿过一系列夹具，这是一项具有挑战性的任务。由于电缆变形的不可预测性和电缆与夹具开口对齐的复杂性，传统的基于模型或模仿学习的方法难以获得满意结果。为解决这一困难，我们提出了一种基于强化学习并由视觉-语言模型（VLM）引导的布线框架。该框架的核心是在VLM中建立电缆与夹具之间空间位置约束的描述，以生成包含抓取和布线点的高层规划，进而指导局部布线策略。局部布线策略通过人机协同强化学习进行训练，使模型能够在与夹具交互时学习到减少变形的策略。该方法在Franka机器人上的多阶段电缆布线任务中得到验证，并在可靠性和泛化能力方面优于部分基线方法。

Keyword:

Deformable linear objects

reinforcement learning

robotic manipulation

vision language models (VLMs)

Reinforcement Learning-Based Routing Framework Guided by Vision–Language Model

摘要

期刊

机构

引用论文