返回
Federated Learning Under Evolving Distribution Shifts
DOI:10.3390/e28010101.png)
摘要
En 中文
联邦学习(FL)是一种分布式学习范式,能够在不收集分布式客户端原始数据的情况下训练全局机器学习模型。联邦学习的最新进展已解决了若干可能在真实场景中出现的考量因素,例如客户端间的数据分布异质性。然而,现有的大部分工作仍将客户端的数据分布视为静态或遵循简单的动态变化,例如客户端的参与率。在真实的联邦学习应用中,客户端数据分布会随时间变化,且其动态变化(即演化模式)可能非常复杂。此外,演化可能发生在训练到测试的过程中。在本文中,我们关注客户端数据分布的动态变化,旨在训练能够从随时间演化的客户端中泛化到未来目标数据的联邦学习系统。具体而言,我们提出了两种算法FedEvolve和FedEvp,它们能够捕捉训练过程中客户端的演化模式,并在数据分布动态变化时保持测试鲁棒性。FedEvolve通过学习两种不同的表示映射来显式建模时间演化,以捕捉每个客户端连续数据域之间的转换。此外,FedEvp通过将当前数据与从所有先前观测域中持续更新的原型对齐,学习一个单一生成域不变表示。通过在合成数据和真实数据上的广泛实验,我们展示了所提出的算法能够在各种网络架构上显著优于联邦学习基准方法。
Keyword:
distribution shifts
federated learning
distributed learning
ML robustness
期刊
IF:
2
论文数:
956
被引数:
2.4W
机构
引用论文
Correlation-aware adversarial domain adaptation and generalization相关感知的对抗域适应和泛化
PATTERN RECOGNITION
IF7.6
Clustered Federated Learning: Model-Agnostic Distributed Multitask Optimization Under Privacy Constraints集群联邦学习: 隐私约束下的模型不可知的分布式多任务优化

