返回
Prototypes guided model transformations between personalization and generalization in federated learning
DOI:10.1007/s10489-025-06566-3.png)
摘要
En 中文
联邦学习(FL)因其能够在保护隐私的同时训练协作模型而受到关注。然而,在处理异构数据时,它仍面临局限性,主要表现为全局模型的性能下降以及单一全局模型难以适应客户端数据分布的差异性。尽管研究人员已将上述问题概括为泛化和个性化两大目标,但鲜有研究同时解决这两大目标,大多数研究倾向于优先考虑其中之一。本文证明,联邦学习迭代过程本身已包含模型在泛化和个性化之间的转换,并着重确保这些转换在高数据异构性下平稳运行。具体而言,提出了一种新颖的联邦原型转换框架(FedPT),能够同时生成性能良好的泛化模型和个性化模型。FedPT构建局部原型分类器,在本地训练中明确指导个性化模型优化,这些分类器可聚合为适用于通用任务的全球原型分类器。动量更新设计在本地训练中保留了全局知识,并对齐了客户端间的特征,从而实现了更平滑的迭代。此外,提出了一种改进的样本级对比损失,以挖掘更深层次表示,即使对于缺失或类别不平衡的情况,也能实现高质量原型生成。实验结果表明,FedPT在泛化和个性化任务上均表现出卓越性能,优于最新方法。
Keyword:
Personalized federated learning
Heterogeneous data
Prototypes
Supervised contrastive loss
期刊
IF:
3.5
论文数:
7.6K
被引数:
1.7W
机构
暂无机构信息
引用论文
Fault diagnosis based on federated learning driven by dynamic expansion for model layers of imbalanced client基于联邦学习的不平衡客户端模型层动态扩展故障诊断
Clustered Federated Learning: Model-Agnostic Distributed Multitask Optimization Under Privacy Constraints集群联邦学习: 隐私约束下的模型不可知的分布式多任务优化

