返回
Relation-Guided Versatile Regularization for Federated Semi-Supervised Learning
DOI:10.1007/s11263-024-02330-1.png)
摘要
En 中文
联邦半监督学习(FSSL)旨在解决实际场景中不断增长的隐私担忧,这些场景中数据持有者在标注能力方面受到限制。最新的FSSL方法利用本地模型与全局模型之间的预测一致性来探索部分标注或完全未标注客户端的知识。然而,它们仅利用数据级增强来实现预测一致性,并通过服务器上的加权平均简单聚合模型参数,这导致分类器产生偏差并受未标注客户端分布不均的影响。为解决这些问题,我们提出了一种新的FSSL框架,即关系引导的通用正则化(FedRVR),包括客户端的通用正则化和服务器的关系引导方向聚合策略。在通用正则化中,我们提出了模型引导正则化与数据引导正则化相结合,并鼓励本地模型的预测对能力不同的两种极端全局模型保持不变,这为本地训练提供了更丰富的强一致性监督。此外,我们在服务器上设计了一种关系引导的方向聚合,其中引入了一个参数化关系预测器以获得成对模型关系并产生模型排名。通过这种方式,服务器可以通过聚合相对可靠的客户端模型提供更优的全局模型,并通过反向聚合产生次优全局模型以促进客户端的通用正则化。在三个FSSL基准上的大量实验验证了FedRVR在各类联邦学习设置中优于当前最先进方法。
Keyword:
Federated semi-supervised learning
Versatile regularization
Relation-guided aggregation.
期刊
IF:
9.3
论文数:
4.0K
被引数:
2.8W
机构
暂无机构信息
引用论文
Local or Global: Selective Knowledge Assimilation for Federated Learning with Limited Labels本地或全局:联邦学习中的选择性知识同化与有限标签
FedCD: Federated Semi-Supervised Learning with Class Awareness Balance via Dual TeachersFedCD: 基于双教师且具有类别感知平衡的联邦半监督学习

