.png){kind=icon}
返回
D-DOSA:DPU-Based Dataflow Offloading and Sparse Allreduce Framework for Distributed Training
.png){kind=icon}
PRE
AI
DOI：10.1109/TCC.2025.3634564.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
通信开销是分布式深度学习的主要瓶颈，阻碍了训练的可扩展性。尽管现有的梯度稀疏化技术减少了网络流量，但它们引入了关键限制：未能优化节点内数据路径，且与高效的、去中心化的Allreduce操作不兼容。为解决这些问题，我们提出了D-DOSA，一种基于DPU的通信卸载框架。D-DOSA包含两项关键创新：1) D-DO，一种架构，通过建立GPU-DPU直接数据路径，将数据加载和节点内通信从主机CPU卸载；2) D-SA，一种新型稀疏Allreduce算法，首次实现了稀疏张量与高性能、环基通信的兼容性。我们在一个8节点、配备DPU的集群上使用包括VGG、LSTM和BERT在内的代表性模型对D-DOSA进行了评估。实验结果表明，与当前最优的稀疏训练基准相比，我们的框架将训练加速最多1.32倍，且不损失精度。最终，D-DOSA表明，在DPU上协同设计数据流架构和通信算法可解决稀疏训练中的关键瓶颈，并为更大系统中的可扩展性能提供了可行路径。
Keyword:
Distributed deep learning
data parallelism
allreduce
gradient sparsification
data processing unit
期刊
I
IF:
5
论文数:
1.9K
被引数:
4.3K
机构
引用论文
.png){kind=icon}
Towards Accelerating Data Intensive Application's Shuffle Process Using SmartNICs利用SmartNIC加速数据密集型应用的数据洗牌过程
OAAI
OAAI分享收藏DComp: Efficient Offload of LSM-tree Compaction with Data Processing UnitsDComp: 使用数据处理单元高效卸载LSM树压缩
PREAI
分享收藏分享收藏SECURING INFINIBAND TRAFFIC WITH BLUEFIELD-2 DATA PROCESSING UNITS使用BlueField-2数据处理单元保障InfiniBand流量安全
PREAI
分享收藏分享收藏
查看更多内容