.png){kind=icon}
返回
Deep deterministic policy gradient-model-agnostic meta-learning framework: Efficient adaptation in continuous control tasks
.png){kind=icon}
OA
AI
DOI：10.1016/j.rineng.2025.105139.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
深度强化学习（DRL）在连续控制任务中表现出卓越的性能。然而，在多种环境中进行广泛训练通常需要大量的训练。本文提出了一种Meta-DDPG-MAML方法，该方法结合了深度确定性策略梯度（DDPG）方法与模型无关元学习（MAML），以增强适应性和效率。通过将元学习原理融入DDPG的演员-评论家架构，所提出的方法能够利用最少数据实现快速适应。在基准环境LunarLanderContinuous-v2、BipedalWalker-v3和Pendulum-v1中的实验结果表明，Meta-DDPG-MAML在多项性能指标上持续优于DDPG。在LunarLander中，其最大回报接近200，有效将DDPG的性能提升一倍，同时稳定了回合时长。在BipedalWalker中，到第5000个回合时其回报超过250，而DDPG则停滞在300以下。在Pendulum中，两种方法均稳定在-200左右。然而，Meta-DDPG-MAML框架的评论家损失更为一致，平均为-52.5，而DDPG的评论家损失存在波动。在所有任务中，Meta-DDPG-MAML实现了更优的回合回报稳定性，保持了更高的评论家损失一致性，并在变化条件下提升了策略鲁棒性。此外，Meta-DDPG-MAML在复杂环境中将收敛速度提高了30%-50%，同时将回报提升20%-40%，从而凸显了其效率和适应性。该框架突出了将MAML整合到DRL方法中以应用于需要快速学习和稳健性能的实际场景的潜力。本研究通过实现快速适应和稳健性能，显著增强了DRL在实际连续控制任务中的实用价值。
Keyword:
Deep deterministic policy gradient
Deep reinforcement learning
Model-agnostic meta-learning
Continuous control tasks
Hyperparameters
Optimization
期刊
IF:
7.9
论文数:
1.2W
被引数:
1.7W
机构
引用论文
Enhanced Deep Deterministic Policy Gradient Algorithm Using Grey Wolf Optimizer for Continuous Control Tasks基于灰狼优化器的增强型深度确定性策略梯度算法，用于连续控制任务.png)
IEEE ACCESSOAAI
IEEE ACCESSIF3.6
OAAI分享收藏Advancements in data-driven voltage control in active distribution networks: A Comprehensive review主动配电网数据驱动电压控制的进展: 综合评述
OAAI
OAAI分享收藏
查看更多内容