.png){kind=icon}
返回
Universal Stabilization for Maximum Entropy Optimization in Reinforcement Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/TNNLS.2025.3626050.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在现实世界的决策任务中，强化学习（RL）方法同时具备稳定性和鲁棒性至关重要。最大熵RL方法通常通过熵增奖励生成鲁棒策略。虽然将熵引入奖励有助于探索，但它存在有限的普适性和持续的收敛困难，例如次优策略稳定化和不稳定的$Q$值更新。从优化角度，我们将这两个问题定义为tremulous policy和spiky Q-function，并探究其根本原因及相互关系。分析表明，最大熵原则会导致尖峰$Q$-函数更新，最终引发颤抖策略。因此，我们在最大熵框架下引入beta对称Kullback–Leibler（KL）散度目标以缓解此类问题。通过该目标函数，大beta值可控制策略的颤抖特性；同时，通过在目标$Q$值中退火熵，可避免尖峰$Q$函数，因为beta对称KL散度是原始反向KL散度的上界。理论上，我们证明最小化新目标函数将产生一个在$Q$值上表现更优的新策略。基于这些结果，最终通过迭代更新$Q$值和策略推导出最优策略，并将该方法命名为最大熵稳定优化（MeSO）。在Mujoco和Roboschool平台上的实验结果表明，该算法在保持稳定性的同时，提供了更好的灵活性和整体性能。
Keyword:
Maximum entropy
policy iteration
reinforcement learning (RL) algorithm
sample efficiency
期刊
IF:
8.9
论文数:
7.6K
被引数:
7.2W
机构
引用论文
.png){kind=icon}
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
OAAI
OAAI分享收藏Improved Soft Actor-Critic: Mixing Prioritized Off-Policy Samples With On-Policy Experiences改进的软行动者-批评家: 将优先的非政策样本与政策经验混合在一起
PREAI
分享收藏
查看更多内容