A Differential Dynamic Programming Framework for Inverse Reinforcement Learning

Kun Cao

doi:10.1109/TRO.2025.3623769

A Differential Dynamic Programming Framework for Inverse Reinforcement Learning

2025-01-01

0

PRE

AI

Karl Henrik Johansson

L

Lihua Xie

DOI：10.1109/TRO.2025.3623769

原文链接

原文求助

摘要

En 中文

基于微分动态规划（DDP）的逆强化学习（IRL）框架被引入，用于从演示中恢复代价函数、系统动力学和约束的参数。与现有工作不同，其中DDP通常用于内部正向问题，我们提出的框架利用它来高效计算包含等式和不等式约束的外部逆问题所需的梯度。所提出的方法与基于庞特里亚金最大值原理（PMP）的现有方法之间的等价性得到了建立。更重要的是，使用这种基于DDP的IRL与开环损失函数，提出了一种闭环IRL框架。在该框架中，提出了一种损失函数以捕捉演示的闭环特性。结果表明其优于常用的开环损失函数。我们证明了在特定假设下，闭环IRL框架可以简化为一个受约束的逆最优控制问题。在这些假设和一个秩条件之下，证明了学习参数可以从演示数据中恢复。所提出的框架通过四个数值机器人示例和一个真实世界的四旋翼系统进行了广泛评估。实验验证了理论结果，并阐述了该方法的实践相关性。

Keyword:

Constrained optimal control

differential dynamical programming

inverse optimal control (IOC)

inverse problems

inverse reinforcement learning (IRL)

A Differential Dynamic Programming Framework for Inverse Reinforcement Learning

摘要

期刊

机构

引用论文