Expert Behavior Prior Reinforcement Learning

doi:10.1109/tnnls.2026.3717134

Expert Behavior Prior Reinforcement Learning

2026-08-07

0

PRE

AI

DOI：10.1109/tnnls.2026.3717134

原文链接

原文求助

摘要

En 中文

行为先验强化学习（BPRL）已作为一种有前景的范式，通过利用来自离线演示的策略先验来提高在线强化学习（RL）的样本效率。然而，大多数现有的BPRL方法依赖静态离线数据集，这些数据集通常存在数据多样性低和轨迹质量次优的问题。这种依赖限制了策略先验的有效性，阻碍了在线训练期间的策略利用和稳定性。因此，智能体容易导致低效探索和不稳定的学习动态。为解决这些局限性，我们偏离了现有的离线预训练方法，提出了专家行为先验（EBP）算法。具体而言，我们引入了一种Q引导的条件变分自编码器（Q-CVAE），它能够直接从在线回放缓冲区学习生成专家策略先验。这实现了在不依赖预收集的专家轨迹的情况下生成高价值动作以指导策略更新。为进一步增强策略利用，我们提出了专家策略指导（EPG）机制，该机制从生成支持集中选择专家动作，并整合了策略梯度修正（PGC）模块来调和Q引导与专家监督，促进稳定且一致的政策改进。在机器人控制（Gym、PyBullet）和工业控制（DMControl）基准测试中的广泛实验表明，EBP显著优于当前最先进的在线RL算法，实现了更高的样本效率和更稳定的收敛。

Keyword:

Expert policy priors

generative support set

online reinforcement learning (RL)

policy gradient correction (PGC)

stable policy improvement

Expert Behavior Prior Reinforcement Learning

摘要

期刊

机构

引用论文