.png){kind=icon}
返回
Split Learning Without Local Weight Sharing to Enhance Client-Side Data Privacy
.png){kind=icon}
PRE
AI
DOI：10.1109/TDSC.2025.3565229.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
分割学习（SL）旨在通过在客户端-服务器之间分配深度模型并保持私有数据本地化来保护用户数据隐私。在多客户端SL训练中，本地模型权重在客户端之间共享以更新本地模型。本文首先通过模型反演攻击揭示了SL中客户端间本地权重共享加剧的数据隐私泄露问题。然后，为减少数据隐私泄露，我们提出了并分析了隐私增强型SL（P-SL）（或无本地权重共享的SL）。我们进一步提出了并行化P-SL，通过复制多个服务器端模型实例来加速训练过程，同时不牺牲精度。最后，我们探讨了带有后期参与客户端的P-SL，并设计了一种基于服务器端缓存的训练方法，以解决后期客户端加入时SL中的遗忘现象。实验结果表明，P-SL有助于减少高达50%的客户端数据泄露，这本质上通过使用差分隐私机制实现了比当前趋势更好的隐私-精度权衡。此外，P-SL及其基于缓存的版本在各种数据分布下实现了与基准SL相当的精度，同时降低了计算和通信成本。此外，P-SL中的缓存训练减轻了遗忘的负面影响，稳定了学习过程，并使在具有后期到达客户端的动态环境中实现实用且低复杂度的训练成为可能。
Keyword:
Distributed training
split learning (SL)
privacy preservation
model parallelism
neural networks
期刊
IF:
7.5
论文数:
2.6K
被引数:
9.6K
机构
引用论文
Split Learning: A Resource Efficient Model and Data Parallel Approach for Distributed Deep LearningSplit Learning: 一种资源高效的模型与数据并行方法用于分布式深度学习
PREAI
分享收藏Combining split and federated architectures for efficiency and privacy in deep learning.png)
Proceedings of the 16th International Conference on emerging Networking EXperiments and Technologies
OAAI
Proceedings of the 16th International Conference on emerging Networking EXperiments and TechnologiesIF0
OAAI分享收藏
查看更多内容