.png){kind=icon}
返回
SeqFedRPC: Sequential Federated Learning With Regularized Parameter Clustering
.png){kind=icon}
PRE
AI
DOI：10.1002/ett.70477.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
顺序联邦学习（SFL）通过链式方式实现跨客户端的协作模型训练，相较于传统的全聚合并行联邦学习（PFL），提供了更高效的通信优势。然而，SFL训练常因非独立同分布（non-IID）数据分布导致收敛缓慢和性能下降。在动机实验中，我们发现通过将模型划分为共享参数和个性化参数进行模型解耦，并使用少量具有大梯度的个性化参数，可提升SFL训练性能。基于上述发现，我们提出SeqFedRPC，一种基于正则化参数聚类的模型解耦SFL框架。我们引入正则化项以促进参数稀疏化并放大梯度差异，有助于梯度驱动的参数聚类。随后，采用聚类方案自适应地将模型参数解耦为共享子集和个性化子集，从而通过共享参数调整全局知识、个性化参数适配客户端特定分布来解决non-IID数据挑战。在八个基准数据集上的广泛实验表明，SeqFedRPC超越了八种最新方法，且在所有数据集上每个客户端仅个性化不到10%的总参数。
Keyword:
parameter decoupling
regularized parameter clustering
sequential federated learning
期刊
IF:
2.5
论文数:
480
被引数:
3.9K
机构
引用论文
Clustered Federated Learning: Model-Agnostic Distributed Multitask Optimization Under Privacy Constraints集群联邦学习: 隐私约束下的模型不可知的分布式多任务优化
OAAI
OAAI分享收藏Gradient-based learning applied to document recognition基于梯度的学习在文档识别中的应用.png)
PROCEEDINGS OF THE IEEE
PROCEEDINGS OF THE IEEEIF25.9
PREAI
分享收藏FEDGKD: Toward Heterogeneous Federated Learning via Global Knowledge DistillationFEDGKD: 通过全球知识蒸馏实现异构联邦学习
PREAI
分享收藏CPPer-FL: Clustered Parallel Training for Efficient Personalized Federated LearningCPPer-FL: 用于高效个性化联邦学习的集群并行训练
PREAI
分享收藏Heterogeneous Training Intensity for Federated Learning: A Deep Reinforcement Learning Approach联邦学习的异质训练强度: 一种深度强化学习方法
PREAI
分享收藏Personalized Federated Learning on Non-IID Data via Group-based Meta-learning通过基于组的元学习对非IID数据进行个性化联合学习
PREAI
分享收藏
查看更多内容