.png){kind=icon}
返回
Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-06106-5_3.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
联邦强化学习（FedRL）通过阻止智能体之间的直接数据交换，实现了协作学习同时保护数据隐私。然而，许多现有的FedRL算法假设所有智能体在相同的环境中运行，这在现实中往往不切实际。在多机器人团队、众包系统和大规模传感器网络等实际应用中，每个智能体可能经历略有不同的转换动态，导致固有模型失配。在本文中，我们首先为单智能体时序差分学习（TD(0)）在策略评估中的线性收敛性建立了保证，并证明在受扰环境中，智能体会遭受系统偏差，阻碍真实值函数的准确估计。这一结果在独立同分布（i.i.d.）和马尔可夫采样模式下均成立。随后，我们将分析扩展到联邦TD(0)（FedTD(0)）设置，其中多个智能体各自与其受扰环境交互，并定期共享值估计以协作近似共同潜在模型的真值函数。我们的理论结果表明，模型失配、网络连通性和混合行为对FedTD(0)的收敛性产生影响。经验实验证实了我们的理论优势，强调即使中等程度的信息共享也能显著缓解环境特定的误差。
Keyword:
Federated Reinforcement Learning
Model Mismatch in Reinforcement Learning
Temporal Difference Learning
Policy Evaluation
期刊
机构
引用论文
分享收藏分享收藏On the convergence of temporal-difference learning with linear function approximation.png)
MACHINE LEARNING
OAAI
MACHINE LEARNINGIF2.9
OAAI分享收藏Towards Understanding Asynchronous Advantage Actor-Critic: Convergence and Linear Speedup理解异步优势行动者-批评家: 收敛和线性加速
OAAI
OAAI分享收藏
查看更多内容