Sample-efficient backtrack temporal difference deep reinforcement learning

doi:10.1016/j.knosys.2025.114613

Sample-efficient backtrack temporal difference deep reinforcement learning

2025-10-09

0

PRE

AI

DOI：10.1016/j.knosys.2025.114613

原文链接

原文求助

摘要

En 中文

深度强化学习算法通常需要大量的训练数据，特别是在机器人控制任务中。为解决这一局限性，我们提出了一种样本高效的回溯时序差分学习方法，该方法增强了目标状态-动作（Q）值估计。所提出的方法通过使用回溯采样权重，根据转换到终止状态的距离动态优先处理转换。这种优先级机制产生更准确的目标Q值，从而提高了整体Q值估计精度。此外，我们的分析揭示了课程学习与Bellman方程优化之间的一种新联系。所提出的方法具有通用性，适用于离散和连续动作空间，并且易于与离策略演员-评论家算法集成。大量实验表明，所提出的方法显著降低了Q值近似误差，并在各种基准测试中优于基线方法，在四个离散动作空间任务中实现了28%的性能提升，在四个连续控制任务中获得了78%的性能提升。

Sample-efficient backtrack temporal difference deep reinforcement learning

摘要

期刊

机构

引用论文