CODE: Cross-Context Identity Extraction for Value Decomposition Based Multi-Agent Reinforcement Learning

Kun Hu

doi:10.1109/tpami.2026.3734698

CODE: Cross-Context Identity Extraction for Value Decomposition Based Multi-Agent Reinforcement Learning

2026-09-16

0

OA

AI

DOI：10.1109/tpami.2026.3734698

原文链接

原文求助

摘要

En 中文

适应变化任务配置的上下文强化学习（CRL）固有的挑战，在多智能体系统（MAS）中由于智能体间复杂的相互关联而进一步加剧。在MAS中，智能体难以识别其在多智能体团队中的身份，因此结构化信用分配变得不平凡。结果，多智能体强化学习（MARL）模型在跨上下文迁移设置中往往无法展示出可比的任务性能。这种性能下降显著限制了MARL方法在具有无限任务配置多样性的动态开放世界环境中的适应性和应用性。为应对这一挑战，本研究提出跨上下文身份提取（CODE）方法，这是一种通用的身份感知框架，旨在增强基于价值分解（VD）的MARL算法（如VDN、QMIX和QPLEX）的跨上下文泛化能力。通过利用向量量化变分自编码器（VQ-VAE）提取具有表现力的身份表征，并在上下文学习动态中进行跨上下文验证，CODE能够有效捕捉多智能体团队中智能体特定的身份，并将这些身份迁移到一系列相似但配置不同的任务场景中，从而强化基于VD的MARL算法的上下文适应性。在多个流行的MARL基准上的广泛实验表明，该方法优于当前最优的竞争方法，展现出卓越的数据效率和任务性能。

Keyword:

Multi-Agent Reinforcement Learning

Contextual Generalization

Cross-Context Transfer

Identity Extraction

Structural Credit Assignment

CODE: Cross-Context Identity Extraction for Value Decomposition Based Multi-Agent Reinforcement Learning

摘要

期刊

机构

引用论文