arrow
返回

Implementation and Evaluation of Multi-Hop Parallel Split Learning

delete2026-01-01
delete0
PRE
AI
J
Joana Tirana *
S
Spyros Lalis
D
Dimitris Chatzopoulos
DOI:10.1109/ACCESS.2026.3653864delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
卸载技术,如分裂联邦学习(SplitFed)或并行分裂学习(Parallel SL),能够使多个资源受限的数据所有者设备在资源丰富的计算节点的帮助下参与协作训练过程。近期研究表明,计算节点(跳数)的数量对训练延迟有显著影响。然而,确定理想的跳数并非易事。因此,本研究提出了一种数学模型,用于估算单跳和多跳并行分裂学习的训练延迟。该工具不仅有助于在部署前确定最佳跳数,还可作为未来研究工作的评估工具。此外,我们构建了一个轻量级优化问题,旨在从理论层面最大化流水线并行性。同时,我们提出了SplitPipe框架,该框架允许在系统层面支持流水线并行性。最后,我们进行了全面的数值评估,首先验证了所提出的估算模型的准确性,然后对多跳和单跳并行分裂学习进行了详细分析。
Keyword:
Training
Computational modeling
Parallel processing
Data models
Pipelines
Numerical models
Mathematical models
Delays
Optimization
Costs
Federated learning
split learning

期刊

IEEE Access 封面图
IEEE Access
IF:
3.6
论文数:
9.8W
被引数:
29.4W

机构

U
university college dublin
学者数:
2.6W
论文数: 2.2W
被引数: 22
U
University of Thessaly
学者数:
7.8K
论文数: 6.0K
被引数: 5.7K
引用论文

引用论文

err
IF0
err
err0
PREAI
err
err分享
err收藏
DisLLM: Distributed LLMs for Privacy Assurance in Resource-Constrained Environments
err2024-09-30
err0
PREAI
errSadeepa,Sumudith; Kavinda,Keshara; Hashika,Emmanuel; Sandeepa,Chamara; Gamage,Tharindu; Liyanage,Madhusanka
err分享
err收藏
err分享
err收藏
err分享
err收藏
An Automated Framework for Distributed Deep Learning–A Tool Demo
err2022-07-01
err0
PREAI
errGharibi,Gharib; Patel,Ravi; Khan,Anissa; Gilkalaye,Babak Poorebrahim; Vepakomma,Praneeth; Raskar,Ramesh; Penrod,Steve; Storm,Greg; Das,Riddhiman
err分享
err收藏
学者 查看更多内容