.png){kind=icon}
返回
Nitro: Boosting Distributed Reinforcement Learning with Serverless Computing
.png){kind=icon}
PRE
AI
DOI：10.14778/3696435.3696441.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
深度强化学习（DRL）已在游戏AI、机器人技术以及系统调度等多个应用领域展现出巨大潜力。DRL算法通过试错过程在线生成、采样并从训练数据中学习，这需要大量时间和计算资源。为解决这一问题，分布式DRL算法与范式被开发出来以利用丰富资源加速训练。通过精心设计的实验，我们首次观察到：在特定训练轮次于短暂时间窗口内通过生成更多并发智能体（actor）来战略性增加智能体与环境交互，可显著提升训练效率。然而，现有的分布式DRL解决方案（主要基于服务器架构）因启动时间长、适应能力有限及扩展性繁琐，未能充分利用这些机会。本文提出Nitro——一款通用分布式DRL训练引擎，其通过无服务器计算即时生成并发智能体，强制实施及时有效的训练加速。借助无服务器函数，Nitro能根据DRL训练需求动态调整数据采样策略。Nitro通过精确快速地检测经验指标来捕捉实时加速机会。为提升成本效益，我们设计了启发式智能体缩放算法，指导Nitro进行成本感知的加速预算分配。我们将Nitro与当前最先进的DRL算法及框架集成，并在AWS EC2和Lambda上进行评估。Mujoco和Atari基准测试显示，Nitro可将最终奖励（即训练质量）提升最高6倍，同时将训练成本降低最高42%。
期刊
P
IF:
3.3
论文数:
563
被引数:
1.2W
查看更多机构
.png){kind=icon}
