.png){kind=icon}
返回
Distributed Optimization via Kernelized Multiarmed Bandits
.png){kind=icon}
PRE
AI
DOI：10.1109/TAC.2025.3574032.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多臂赌博机算法为通过与环境交互进行学习的序列决策问题提供解决方案。在本工作中，我们将一个分布式优化问题建模为一个具有异构奖励设置的多人核化多臂赌博机问题。在此设置中，智能体协同旨在最大化一个全局目标函数，该函数是局部目标函数的平均值。智能体只能访问从再生核希尔伯特空间中范数较小的关联局部函数获得的赌博机反馈（噪声奖励）。这些局部函数是未知的，且不一定是凸的。我们提出了一种完全去中心化算法，即多人改进高斯过程上置信界（IGP-UCB），它能在保持隐私的同时，对于流行的核类实现次线性遗憾界。它不要求智能体共享其动作、奖励或局部函数的估计值。在所提出的方法中，智能体通过利用运行共识来估计全局函数的上置信界，以对整个网络有利的方式采样其各自的局部函数。此外，我们提出了一种扩展算法，即多人延迟IGP-UCB算法，它通过在估计更新步骤中利用延迟来降低遗憾界对网络中智能体数量的依赖，以更多通信为代价提供改进的性能。
Keyword:
Bandits
distributed optimization
Gaussian process (GP)
