CARoL: Context-Aware Adaptation for Robot Learning

doi:10.1109/LRA.2025.3619779

CARoL: Context-Aware Adaptation for Robot Learning

0

PRE

AI

DOI：10.1109/LRA.2025.3619779

原文链接

原文求助

摘要

En 中文

使用强化学习（RL）从零开始学习新的机器人任务通常效率低下。利用先验知识有望显著提升学习效率，但这引发了两个关键挑战：如何确定现有知识的关联性，以及如何自适应地将其整合到学习具有不同动力学的新任务变体中。在此论文中，我们提出一种新的框架——**Context-aware Adaptation for Robot Learning**（CARoL），用于高效地从先验知识中学习一个相似但不同的新任务。CARoL通过分析系统动力学中的状态转移来识别新任务与先验知识之间的相似性，从而引入情境感知。随后，它利用这些识别出的相似性来优先级排序并适配特定知识片段以用于新任务。此外，CARoL具有广泛的适用性，涵盖基于策略、基于价值和演员-评论家（actor-critic）的RL算法。我们在模拟机器人平台和物理地面车辆上验证了CARoL的效率与泛化能力。模拟环境包括CarRacing和LunarLander，其中CARoL在学习新任务策略时表现出更快的收敛速度和更高的奖励。在真实世界实验中，我们展示了CARoL能够使地面车辆快速高效地将模拟中学习的策略适配到真实世界的越野地形中平稳行驶。

Keyword:

Reinforcement learning

transfer learning

autonomous agents

CARoL: Context-Aware Adaptation for Robot Learning

摘要

期刊

机构

引用论文