.png){kind=icon}
返回
Offline constrained policy optimization with safe anchoring
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neunet.2026.108865.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
由于安全顾虑和离线设置中的分布偏移挑战，强化学习（RL）在现实场景中的应用受到限制。为解决这些问题，我们将安全离线RL表述为一个集成累积成本约束和行为策略正则化的约束策略优化问题。我们首先通过拉格朗日对偶推导出该离线约束策略优化问题的解析解。然后，我们证明该解的迭代更新能保证单调的性能提升，同时相对于行为策略约束最坏情况下的成本。为进一步防止可能违反安全约束的分布外动作，我们提出了一种从离线数据中蒸馏“安全动作”分布并限制策略更新在安全区域内的机制。我们称此方法为安全锚定。通过将解析解投影到使用VAE蒸馏的安全锚定机制所参数化的策略空间中，我们开发了具有安全锚定的离线约束策略优化（OCPO-SA）算法。在Safety-Gymnasium和Bullet-Safety-Gym上的大量实验表明，OCPO-SA在所有测试环境中均实现了安全性，且与比较算法中表现最佳的基础模型相比，平均成本降低了24%。
Keyword:
reinforcement learning
offline policy optimization
safety constraints
constrained policy optimization
safe anchoring
期刊
IF:
6.3
论文数:
8.2K
被引数:
3.0W
机构
引用论文
暂无论文信息