.png){kind=icon}
返回
QVF: Incorporating quantile value function factorization into cooperative multi-agent reinforcement learning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2024.111323.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
值函数分解是集中式训练与分布式执行（CTDE）领域的一种主流范式。该框架内的主要挑战是在非单调支付设置下维持个体-全局-最大（IGM）原则，这通常会导致次优纳什均衡（NE）的产生。在本工作中，我们提出了一种称为分位数值函数分解（QVF）的新方法以确保IGM一致性。我们引入了分位数-IGM，它将分位数回归整合到IGM中，以使从个体Q值推导出的最优动作与全局Q值的最优动作保持一致。分位数-IGM的核心思想是利用累积个体Q值来近似联合Q值的上期望分位数，从而使得分解过程能够优先考虑高质量轨迹。理论上，我们证明可以通过适当调整量化因子，在非单调支付设置下维持IGM原则。此外，我们为每个智能体引入了单调的意图混合网络（IMN），它整合全局历史上下文以确保单调分解过程，并允许个体Q值隐式考虑其他智能体的意图动作。最后，我们从经验上证明QVF在包括《星际争霸》多智能体挑战（SMAC）、SMACv2和谷歌研究足球（GRF）等具有挑战性的基准测试中达到了有竞争力的基线水平。
Keyword:
Multi-agent reinforcement learning
Value factorization
Individual-global-max
Reinforcement learning
Multi-agent system
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
分享收藏Robust multi-agent reinforcement learning via Bayesian distributional value estimation.png)
PATTERN RECOGNITION
OAAI
PATTERN RECOGNITIONIF7.6
OAAI分享收藏A multi-agent curiosity reward model for task-oriented dialogue systems面向任务对话系统的多智能体好奇心奖励模型PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏Optimistic sequential multi-agent reinforcement learning with motivational communication基于激励沟通的乐观序贯多智能体强化学习NEURAL NETWORKS
NEURAL NETWORKSIF6.3
PREAI
分享收藏
查看更多内容