返回
Implementation and Evaluation of Multi-Hop Parallel Split Learning
DOI:10.1109/ACCESS.2026.3653864.png)
摘要
En 中文
卸载技术,如分裂联邦学习(SplitFed)或并行分裂学习(Parallel SL),能够使多个资源受限的数据所有者设备在资源丰富的计算节点的帮助下参与协作训练过程。近期研究表明,计算节点(跳数)的数量对训练延迟有显著影响。然而,确定理想的跳数并非易事。因此,本研究提出了一种数学模型,用于估算单跳和多跳并行分裂学习的训练延迟。该工具不仅有助于在部署前确定最佳跳数,还可作为未来研究工作的评估工具。此外,我们构建了一个轻量级优化问题,旨在从理论层面最大化流水线并行性。同时,我们提出了SplitPipe框架,该框架允许在系统层面支持流水线并行性。最后,我们进行了全面的数值评估,首先验证了所提出的估算模型的准确性,然后对多跳和单跳并行分裂学习进行了详细分析。
Keyword:
Training
Computational modeling
Parallel processing
Data models
Pipelines
Numerical models
Mathematical models
Delays
Optimization
Costs
Federated learning
split learning
期刊
IF:
3.6
论文数:
9.8W
被引数:
29.4W
机构
引用论文
Dynamic Split Computing Framework for Multi-Task Learning Models: A Deep Reinforcement Learning Approach
IEEE Access
IF0
Energy-Efficient Split Learning for Fine-Tuning Large Language Models in Edge Networks面向边缘网络中大型语言模型精调的节能分割学习

