.png){kind=icon}
返回
Exploration by Multi-Agent Relationship Graph Reconstruction
.png){kind=icon}
OA
AI
DOI：10.3390/ai7100388.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在合作多智能体强化学习（MARL）中，高效探索仍是一个关键挑战，其中联合情境的新颖性可能不仅源于不熟悉的个体观测，还源于智能体间先前未被充分体现的交互模式。现有的内在奖励方法通常通过状态、观测、价值或预测表示来表征新颖性，这可能无法显式捕捉此类关系变化。为解决此问题，我们提出了基于关系图重建探索（RGRE）的内在探索方法，该方法从智能体间关系的视角来表征新颖性。RGRE首先从智能体的局部观测中构建基于注意力的关系表示，然后采用图自动编码器学习其潜在的关系结构。重建差异被用作关系新颖性的代理指标，并作为内在探索奖励纳入环境奖励中。在Multi-Agent Particle Environment（MPE）的扩散任务（3、6和10个智能体）以及六个StarCraft Multi-Agent Challenge（SMAC）场景上的实验表明，RGRE在所有九个评估任务中均实现了比QMIX更高的平均最终性能。根据最终性能结果，在三个MPE设置中，地标占用率的平均提升为5.82个百分点，在六个SMAC场景中，测试胜率的平均提升为7.84个百分点。
Keyword:
multi-agent reinforcement learning
intrinsic reward
relational novelty
multi-agent exploration
relationship graph
graph autoencoder
期刊
A
IF:
5
论文数:
1.1K
被引数:
941
机构
引用论文
.png){kind=icon}
Boosting Sample Efficiency and Generalization in Multi-agent Reinforcement Learning via Equivariance通过等变性提升多智能体强化学习中的样本效率和泛化能力
PREAI
分享收藏Multi-agent Deep Reinforcement Learning collaborative Traffic Signal Control method considering intersection heterogeneity考虑交叉口异质性的多智能体深度强化学习协同交通信号控制方法
PREAI
分享收藏Attention-Based Multi-Agent RL for Multi-Machine Tending Using Mobile Robots基于注意力机制的多智能体强化学习在移动机器人多机床上下料中的应用
OAAI
OAAI分享收藏
查看更多内容