Region-Driven Adaptation for Constrained Reinforcement Learning-Based Control

Aquib Mustafa

doi:10.1109/LRA.2025.3610318

Region-Driven Adaptation for Constrained Reinforcement Learning-Based Control

0

PRE

AI

DOI：10.1109/LRA.2025.3610318

原文链接

原文求助

摘要

En 中文

本文提出了一种基于区域驱动的自适应方法，用于具有未知非线性动力学的系统在约束强化学习（RL）基础上的控制。针对安全性关键控制，已提出若干值得注意的结果，这些结果通过控制屏障函数（CBF）理论确保安全性。此类控制设计的一个挑战在于二次规划（QP）解的可行性。基于CBF的QP性能会受到QP中任何固定参数的影响，可能导致过度保守的行为或安全性违反。首先，我们引入了一种基于区域的类$\mathcal {K}$函数$\alpha (.)$的自适应形式作为自适应CBF参数，以避免过度保守的行为或安全性违反。然后，我们将自适应CBF参数整合到RL算法中，并提出了一种自适应约束的近端策略优化算法（$\alpha$-CPPO）。该算法不仅实现了期望的性能，还通过$\alpha (.)$使RL能够感知其状态与安全行为的关系。安全RL框架也能在CBF-based QP不可行的情况下工作，使系统能够恢复。最后，我们通过一个能源行业应用，即ESP提升井，说明了所提出方法的有效性。

Keyword:

Reinforcement learning

optimization and optimal control

constrained control

autonomous agents

Region-Driven Adaptation for Constrained Reinforcement Learning-Based Control

摘要

期刊

机构

引用论文