Accelerating Distributed Training Through In-Network Aggregation and Route Selection

doi:10.1109/tc.2026.3709852

Accelerating Distributed Training Through In-Network Aggregation and Route Selection

2026-07-03

0

PRE

AI

DOI：10.1109/tc.2026.3709852

原文链接

原文求助

摘要

En 中文

深度学习在诸如电子商务和在线广告等网络应用领域引发了革命性变革。分布式训练（DT）作为加速模型训练的关键手段，已逐渐成为此类应用的基础设施。然而，随着硬件加速器的快速发展，DT的瓶颈已从计算转向通信。为此，提出了一种被称为“网络内聚合”（INA）的可行方法，利用可编程硬件（如Intel Tofino交换机）通过聚合梯度来缓解带宽瓶颈。然而，当前的INA研究主要关注单参数服务器（PS）架构，未能充分解决PS入口带宽限制导致的通信瓶颈。为填补这一空白，我们提出了InArt，这是首个在多PS架构中引入带路由选择的INA的工作。为适应流量动态，InArt采用两阶段方法：将DT任务分配给多个参数服务器，并选择适当的路由方案以充分发挥INA能力。我们分别提出了拉格朗日乘数和随机舍入算法用于这两个阶段。我们实现了InArt，并通过物理平台（Tofino交换机）和Mininet仿真（P4软件交换机）上的实验评估了其性能。与现有解决方案相比，实验结果表明InArt平均可将通信时间减少66%。

Keyword:

Distributed training

in-network aggregation

route selection

programmable switches

Accelerating Distributed Training Through In-Network Aggregation and Route Selection

摘要

期刊

机构

引用论文