.png){kind=icon}
返回
Revisiting the In-Network Aggregation in Distributed Machine Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/TON.2025.3539430.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
分布式机器学习（DML）被提出利用多个训练节点并行训练模型以加速机器学习模型的训练。近期研究应用新兴的In-Network Aggregation（INA）通过将梯度聚合过程从主机卸载到可编程交换机来进一步提高训练效率。然而，现有的INA方案既无法提供高性能训练，这是由于单交换机梯度聚合效率低下，也难以部署，因为需要修改主机协议栈。在本文中，我们提出了一种易于部署的基于INA的解决方案，称为Hierarchical In-Network Aggregation（HINA），通过在数据中心网络（DCN）中分层执行多次聚合来加速DML训练过程。我们将梯度聚合问题表述为联合梯度路由和发送速率（JGRSR）问题，这是一个具有高计算复杂度的混合整数线性规划（MILP）问题。此外，我们提出HINA采用渐进取整和随机取整来确定梯度流的路径和训练节点的发送速率，以简化和求解JGRSR问题。仿真结果表明，与最先进的方案相比，HINA将通信时间减少了61%–92%，并将网络负载降低了39%–66%。
Keyword:
Distributed machine learning
in-network aggregation
gradient routing
sending rate
期刊
I
IF:
0
论文数:
551
被引数:
0
机构
引用论文
A hybrid approach to modeling and optimization for supply chain management with multimodal transport
PREAI
分享收藏
分享收藏Multi-Tenancy- and Redundancy-Aware In-Network Aggregation using Programmable Switches.png)
IEEE NETWORK
IEEE NETWORKIF6.3
PREAI
分享收藏
查看更多内容