QFree: a universal value function factorisation for multi-agent reinforcement learning

Rizhong Wang

doi:10.1080/23307706.2025.2601691

QFree: a universal value function factorisation for multi-agent reinforcement learning

2026-03-01

0

PRE

AI

DOI：10.1080/23307706.2025.2601691

原文链接

原文求助

摘要

En 中文

集中式训练在多智能体强化学习（MARL）领域被广泛利用以确保训练过程的稳定性。一旦获得联合策略，设计价值函数分解方法以提取智能体的最优去中心化策略就至关重要，这需要满足个体-全局最大（IGM）原则。虽然对IGM函数类施加额外限制有助于满足要求，但代价是限制了其在更复杂多智能体环境中的应用。在本文中，我们提出了QFree，一种通用的MARL价值函数分解方法。我们首先基于优势函数开发IGM原则的数学等价条件，这确保了该原则在不妥协的情况下成立，消除了传统方法的保守性。然后，我们建立了一个更具表达力的混合网络架构，能够实现等价分解。特别地，我们通过在MARL算法的策略评估中将等价条件作为正则化项，开发了新的损失函数。最后，在非单调矩阵博弈场景中验证了所提出方法的有效性。此外，我们展示了QFree在通用的复杂MARL基准环境Starcraft Multi-Agent Challenge（SMAC）中达到了最先进的性能。

Keyword:

Multi-agent reinforcement learning

value function factorisation method

individual-global-max principle

advantage function

QFree: a universal value function factorisation for multi-agent reinforcement learning

摘要

期刊

机构

引用论文