返回
Robot Active Task Cognition: Situation-Aware Task Planning With Large Language Models
DOI:10.1109/TCSVT.2025.3637229.png)
摘要
En 中文
本文介绍了一种用于情境感知任务规划(SATP)的机器人主动任务认知框架,利用视觉场景理解生成动作序列。通过整合物体知识、用户偏好和大型语言模型(LLMs),SATP能够解释机器人当前的视觉感知,并创建与机器人“所见”相符的流程动作。与需要明确口头指令的常规方法不同,我们的SATP框架能够自主进行任务认知,直接从视觉输入主动制定机器人可执行的动作序列。首先,提出了一种描述视觉场景的新方法,使机器人能够根据其观察结果掌握详细的物体级属性和物体间关系。在此基础上,采用本体技术构建了主动任务认知的知识库。此外,我们开发了一种由LLMs驱动的两阶段双反馈任务规划器ReProg+,该规划器专门为基于视觉数据的情境感知任务规划设计。我们的解决方案在真实视觉场景中的有效性、可靠性和优势得到了全面验证。此外,SATP已在真实机器人上进行了测试,结果表明了该方法可行且有效。
Keyword:
Service robots
task planning
active task cognition
situation-aware
large language models
期刊
IF:
11.1
论文数:
892
被引数:
3.1W
机构
引用论文
Integrating action knowledge and LLMs for task planning and situation handling in open worlds整合行动知识和LLMs,以在开放世界中进行任务计划和情况处理
AUTONOMOUS ROBOTS
IF4.3
SMART-LLM: Smart Multi-Agent Robot Task Planning using Large Language ModelsSMART-LLM:基于大型语言模型的智能多智能体机器人任务规划

