Preference-based opponent shaping in differentiable games

doi:10.1007/s10994-025-06893-z

2025-11-26

PRE

DOI：10.1007/s10994-025-06893-z

原文链接

原文求助

摘要

En 中文

多智能体游戏环境中的策略学习是一个具有挑战性的问题。由于每个智能体的奖励由联合策略决定，旨在最大化自身奖励的贪婪学习策略可能会陷入局部最优。近期研究提出了针对游戏环境的对手建模和塑造方法。这些方法通过建模其他智能体的策略和更新过程来提高策略学习效率。然而，这些方法通常依赖于对对手策略变化的简单预测。由于缺乏对合作和竞争等行为偏好的建模，它们通常仅适用于预定义场景，且缺乏泛化能力。在本文中，我们提出了一种新颖的基于偏好的对手塑造（PBOS）方法，通过塑造智能体的合作偏好来增强策略学习过程。我们引入了偏好参数，将其纳入智能体的损失函数中，从而允许智能体在更新策略时直接考虑对手的损失函数。我们与策略学习并行更新偏好参数，以确保智能体能够适应任何合作或竞争的游戏环境。通过一系列实验，我们在多种可微分游戏中验证了PBOS算法的性能。实验结果表明，PBOS算法能够引导智能体学习适当的偏好参数，从而在多个游戏环境中实现更好的奖励分配。

Keyword:

Opponent shaping

Preference

Game theory

Differentiable game