.png){kind=icon}
返回
Provably efficient information-directed sampling algorithms for multi-agent reinforcement learning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.artint.2025.104392.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本研究设计并分析了一组基于信息指导采样（IDS）原理的新型多智能体强化学习（MARL）算法。这些算法借鉴了信息论中的基础概念，并在双人零和马尔可夫博弈（MGs）及多人一般和MGs等MARL场景中被证明具有样本效率。针对幕式双人零和MGs，我们提出了三种用于学习纳什均衡的样本高效算法。基础算法MAIDS采用非对称学习结构，其中最大玩家首先基于联合策略的联合信息率解决一个极小极大优化问题，然后最小玩家在最大玩家策略固定的情况下最小化边缘信息率。理论分析表明，它在K幕中达到贝叶斯遗憾为O˜(K)。为降低MAIDS的计算负载，我们开发了一种改进算法Reg-MAIDS，其具有相同的贝叶斯遗憾界，同时计算复杂度更低。此外，通过利用IDS原理在选择学习目标上的灵活性，我们提出了两种基于率失真理论的压缩环境构建方法，并在此基础上开发了Compressed-MAIDS算法，其学习目标为压缩环境。最后，我们将Reg-MAIDS扩展到多人一般和MGs，并证明它能以样本高效方式学习纳什均衡或粗相关均衡。
期刊
IF:
13.9
论文数:
6.1K
被引数:
1.9W
查看更多机构
.png){kind=icon}
