Improving value function decomposition in cooperative multi-agent reinforcement learning

Hao Qin

doi:10.1016/j.neucom.2026.134711

Improving value function decomposition in cooperative multi-agent reinforcement learning

2026-08-06

0

PRE

AI

DOI：10.1016/j.neucom.2026.134711

原文链接

原文求助

摘要

En 中文

值分解方法在集中式训练与分布式执行范式下的合作多智能体强化学习（MARL）中取得了优异性能。然而，将明确的、稀疏的、时变的协调结构有效融入单调值分解仍具挑战性。尽管近期基于图的方法已探索动态和群组感知的交互建模，但如何从局部观测构建轻量且可解释的协调图，同时保持稳定的效用学习和分布式执行仍非易事。为解决该问题，我们提出了动态图注意力混合网络（DGAT-MIX），一种用于显式动态协调建模的值分解框架。DGAT-MIX基于局部可见性与距离线索构建观测驱动的协调图，并在该图上执行掩码多头图注意力。随后，将图增强表示通过残差协调信号注入个体效用中，再进行单调混合。该设计引入了稀疏且可解释的关系归纳偏置，同时保留了原始效用通路以实现稳定优化。在MPE和SMACv2上的实验，以及针对选定SMAC场景的额外分析表明，DGAT-MIX相较于代表性基线方法取得了相当或更优的性能，尤其在异构、非对称和动态变化的合作任务中表现突出。

Improving value function decomposition in cooperative multi-agent reinforcement learning

摘要

期刊

机构

引用论文