.png){kind=icon}
返回
Progress-Aware Transmission Protocol for Efficient In-Network Aggregation in Distributed Machine Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/TON.2025.3581112.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大规模机器学习通常采用分布式机器学习（DML）技术来加速模型训练。由于巨大的通信开销，梯度聚合阶段不幸成为数据并行DML的性能瓶颈。为减少流量，提出了几种在网聚合（INA）传输协议，将梯度聚合功能卸载到可编程交换机上。然而，由于现有INA传输协议使用同步拥塞控制机制来驱动每一轮梯度聚合，滞后工作节点导致迭代时间过长和显著的性能下降。此外，我们发现现有的INA方案无法为不同工作节点数量的多个作业提供公平的性能。为解决上述问题，我们提出了PA-ATP，一种进度感知的INA传输协议，采用进度感知异步拥塞控制。PA-ATP根据传输进度调整发送速率，允许滞后流比领先流获取更多带宽，并控制滞后作业的异步程度。此外，为确保多个作业间的公平吞吐量，我们通过调整哈希操作数量动态调整每个作业的聚合器分配。我们使用P4可编程交换机和内核旁路协议栈来实现PA-ATP。测试平台和大规模NS3模拟结果表明，与最先进的INA传输协议相比，PA-ATP将训练时间最多减少了62%。
Keyword:
In-network aggregation
transmission protocol
straggler
期刊
I
IF:
0
论文数:
551
被引数:
0
机构
引用论文
.png){kind=icon}
分享收藏分享收藏
分享收藏
查看更多内容