arrow
返回

Robot Active Task Cognition: Situation-Aware Task Planning With Large Language Models

delete2025-11-26
delete0
PRE
AI
Y
Ying Zhang
S
Shaohan Bian
J
Jin Liu
R
Ren‐Jie Song
D
Danni Zhu
C
Cuihua Zhang
华
华长春 (Changchun Hua)
DOI:10.1109/TCSVT.2025.3637229delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
本文介绍了一种用于情境感知任务规划(SATP)的机器人主动任务认知框架,利用视觉场景理解生成动作序列。通过整合物体知识、用户偏好和大型语言模型(LLMs),SATP能够解释机器人当前的视觉感知,并创建与机器人“所见”相符的流程动作。与需要明确口头指令的常规方法不同,我们的SATP框架能够自主进行任务认知,直接从视觉输入主动制定机器人可执行的动作序列。首先,提出了一种描述视觉场景的新方法,使机器人能够根据其观察结果掌握详细的物体级属性和物体间关系。在此基础上,采用本体技术构建了主动任务认知的知识库。此外,我们开发了一种由LLMs驱动的两阶段双反馈任务规划器ReProg+,该规划器专门为基于视觉数据的情境感知任务规划设计。我们的解决方案在真实视觉场景中的有效性、可靠性和优势得到了全面验证。此外,SATP已在真实机器人上进行了测试,结果表明了该方法可行且有效。
Keyword:
Service robots
task planning
active task cognition
situation-aware
large language models

期刊

IEEE Transactions on Circuits and Systems for Video Technology 封面图
IEEE Transactions on Circuits and Systems for Video Technology
IF:
11.1
论文数:
892
被引数:
3.1W

机构

Y
yanshan university
学者数:
4.6K
论文数: 1.4K
被引数: 0
引用论文

引用论文

MEPT: Mixture of Expert Prompt Tuning as a Manifold Mapper
err2025-01-01
err0
PREAI
errZeng,Runjia; Sun,Guangyan; Wang,Qifan; Geng,Tong; Dianat,Sohail; Han,Xiaotian; Rao,Raghuveer; Zhang,Xueling; Han,Cheng; Huang,Lifu; Liu,Dongfang
err分享
err收藏
Integrating action knowledge and LLMs for task planning and situation handling in open worlds整合行动知识和LLMs,以在开放世界中进行任务计划和情况处理
err2023-08-29
err11
PREAI
errDing, Yan; Zhang, Xiaohan; Amiri, Saeid; Cao, Nieqing; Yang, Hao; Kaminski, Andy; Esselink, Chad; Zhang, Shiqi
err分享
err收藏
Large language model-based task planning for service robots: A review
err2026-03-01
err7
PREAI
errBian, Shaohan; Zhang, Ying; Tian, Guohui; Miao, Zhiqiang; Wu, Edmond Q.; Yang, Simon X.; Hua, Changchun
err分享
err收藏
err分享
err收藏
err分享
err收藏
Housekeep: Tidying Virtual Households Using Commonsense Reasoning
err2022-10-23
err0
PREAI
errYash Kant; Arun Ramachandran; Sriram Yenamandra; Igor Gilitschenski; Dhruv Batra; Andrew Szot; Harsh Agrawal
err分享
err收藏
err分享
err收藏
学者 查看更多内容