NetPlacer+: Model Parallelism Based on Load Balance in Distributed Deep Learning

Yunqi Gao

doi:10.1109/TETCI.2025.3543765

NetPlacer+: Model Parallelism Based on Load Balance in Distributed Deep Learning

2025-01-01

0

PRE

AI

Mahdi Boloursaz Mashhadi

DOI：10.1109/TETCI.2025.3543765

原文链接

原文求助

摘要

En 中文

模型并行在分布式深度学习中的重要性日益增长，这源于深度神经网络（DNN）规模的扩大以及对更高训练速度的需求。与所有现有工作不同，我们提出了一种基于负载平衡的模型并行策略，称为NetPlacer+。NetPlacer+的核心思想是通过平衡每个设备的计算和通信负载，将DNN模型划分到多个设备上。我们构建了NetPlacer+的数学模型。通过转换NetPlacer+的数学模型，并采用内点法获得其近似最优解。我们在两个GPU集群和八个现代DNN上进行了大量实验，以验证NetPlacer+的有效性。实验结果表明，NetPlacer+的模型并行策略相比NVIDIA的DLPlacer最高可提升1.25倍的加速比。

Keyword:

Distributed deep learning

model parallelism

load balance

NetPlacer+: Model Parallelism Based on Load Balance in Distributed Deep Learning

摘要

期刊

机构

引用论文