.png){kind=icon}
返回
Dual experience replay enhanced deep deterministic policy gradient for efficient continuous data sampling
.png){kind=icon}
PRE
AI
DOI：10.1371/journal.pone.0334411.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
为解决异步分布式强化学习中的样本利用效率低下和政策不稳定问题，我们提出了TPDEB——一种集成优先采样和时间多样性的双经验回放框架。尽管近期分布式RL系统扩展性良好，但在网络延迟和过时策略更新下常出现不稳定和低效采样问题——凸显了异步条件下鲁棒学习的差距。TPDEB通过协调分布式智能体间的双缓冲更新，显著提升了收敛速度和鲁棒性，为现实世界连续控制任务提供了可扩展的解决方案。TPDEB通过两种关键机制解决这些限制：一种轨迹级优先回放缓冲区，用于捕捉时间上连贯的高价值经验；以及KL正则化学习，用于约束各执行者间的策略漂移。与依赖单一经验缓冲区的前期方法不同，TPDEB采用双缓冲策略，结合标准回放缓冲区和优先回放缓冲区。这实现了无偏采样与价值驱动优先级之间的更好权衡，在异步执行者更新下提升了学习鲁棒性。此外，TPDEB通过扩展并行执行者副本收集更多样化和冗余的经验。在MuJoCo连续控制基准上的实证评估表明，TPDEB在收敛速度和最终性能上均优于基线分布式算法，尤其在执行者-学习器带宽受限时表现突出。消融研究验证了各组件的贡献，显示轨迹级优先级能比基于步长的方法更有效地捕捉高质量样本，而KL正则化增强了异步更新间的稳定性。这些发现支持TPDEB作为分布式强化学习系统的实用且可扩展的解决方案。
Keyword:
TPDEB
dual experience replay
prioritized sampling
temporal diversity
KL-regularized learning
期刊
IF:
2.6
论文数:
2.6W
被引数:
81.6W
机构
引用论文
An Assessment of Deep Learning Versus Massively Parallel, Non-Linear Methods for Highly-Efficient MIMO Detection.png)
IEEE ACCESS
OAAI
IEEE ACCESSIF3.6
OAAI分享收藏Reverse replay of behavioural sequences in hippocampal place cells during the awake stateNature
NatureIF0
PREAI
分享收藏JoBiS: Joint capacitance and inductance bit stuffing CAC for interposer based multi-chip Deep Learning AcceleratorJoBiS：一种联合电容和电感比特填充的CAC方法，用于基板级多芯片深度学习加速器Integration
IntegrationIF0
PREAI
分享收藏Edge device resource optimization (EDRO): evaluating the impact of reinforcement learning and deep reinforcement learning methods边缘设备资源优化(EDRO)：评估强化学习和深度强化学习方法的影响
PREAI
分享收藏An Approximate Algorithm to Improve Coverage and Increase Lifetime of WSNs一种改进WSNs覆盖范围并延长其寿命的近似算法
PREAI
分享收藏Multiple Self-Supervised Auxiliary Tasks for Target-Driven Visual Navigation Using Deep Reinforcement Learning基于深度强化学习的多自监督辅助任务用于目标驱动的视觉导航EntropyOAAI
EntropyIF0
OAAI分享收藏分享收藏Improved exploration-exploitation trade-off through adaptive prioritized experience replayNEUROCOMPUTING
NEUROCOMPUTINGIF6.5
PREAI
分享收藏Proximal policy optimization with adaptive threshold for symmetric relative density ratio近端策略优化及其自适应阈值对称相对密度比
OAAI
OAAI分享收藏
查看更多内容