.png){kind=icon}
返回
MADECM: A Curiosity-Augmented Evolutionary Algorithm for Multi-Agent Policy Diversity Optimization
.png){kind=icon}
PRE
AI
DOI：10.1002/cav.70121.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多智能体强化学习（MARL）通常面临样本效率低和行为多样性有限的问题，导致策略同质化、探索不足和鲁棒性降低。为解决这些挑战，我们提出了MADECM，一种基于MADDPG的、带有好奇心增强的进化框架，它将好奇心驱动的更新与进化质量多样性优化相结合。MADECM采用随机网络蒸馏（RND）来估计每个智能体局部观测的新颖性，并利用由此产生的新颖性信号动态分配额外的更新频率，从而在训练过程中强调与探索相关的经验。此外，MADECM通过分阶段优化过程将基于群体的多样化与质量多样性（QD）档案相结合，使任务回报和策略多样性得以联合提升。我们在多智能体粒子环境（MPE）上评估了MADECM，包括Spread和Reference，它们捕捉了合作和部分可观察动态，并在强调长时序决策制定的Google Research Football（GRF）上进行了评估。结果表明，MADECM始终优于基于MADDPG的强基线方法。MADECM的模块化设计，由基于RND的新颖性估计和分阶段QD优化组成，进一步支持了在这些结构不同的环境中的一致泛化，而无需进行任务特定的超参数调整。
Keyword:
evolutionary computation
intrinsic motivation
multi-agent policy diversity
quality-diversity
reinforcement learning
期刊
C
IF:
1.7
论文数:
59
被引数:
0
机构
引用论文
暂无论文信息