Group Attention Aware Coordination Graph

doi:10.3390/app151910355

2025-09-24

Ziyan Fang

刘维 (Wei Liu)

Yu Zhang *

DOI：10.3390/app151910355

原文链接

查看原文

摘要

En 中文

协同多智能体强化学习（MARL）依赖于智能体之间有效的协调以在复杂环境中最大化团队性能。然而，现有的基于协调图的方法往往忽视了动态群体结构，并且在准确捕捉智能体间精细交互依赖关系方面存在困难。在本文中，我们提出了一种名为群体注意力感知协调图（G2ACG）的新方法，该方法建立在群体感知协调图（GACG）的群体建模能力基础上。G2ACG引入了一种动态注意力机制，用于动态计算协调图中的边权重，从而实现对智能体交互更灵活、更精细的表示。这些学习到的边权重引导图注意力网络（GAT）执行消息传递和表示学习，并且由此产生的特征通过QMIX集成到全局策略中，以实现协同决策。在星际争霸II多智能体挑战（SMAC）基准上的实验结果表明，G2ACG在各种不同智能体类型和种群规模的场景中，始终优于包括QMIX、DICG和GACG在内的强大基线方法。消融研究进一步证实了所提出的注意力机制的有效性，表明注意力头的数量和GAT层数的多少对性能有显著影响，其中两层GAT和多头注意力配置取得了最佳效果。

Keyword:

multi-agent reinforcement learning

coordination graph

group modeling

dynamic attention