.png){kind=icon}
返回
Maximizing the Computation-Communication Overlap for Distributed Deep Learning With Approximate AllReduce
.png){kind=icon}
PRE
AI
DOI：10.1016/j.future.2026.108498.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
众所周知，数据并行分布式深度学习（DDL）需要具备计算-通信重叠（CCO）意识的通信优化。AQGB（Adaptive Quantized Gradient Broadcast）的近期工作不仅提出了ROW（重叠时间与等待时间之比）这一指标来量化优化机会，还为此设计了一种CCO感知的自适应量化梯度同步方案。尽管效率较高，但AQGB仅针对训练工作节点通过直接广播同步梯度的情况进行了优化，因此无法支持依赖基于环全归约（Ring-AllReduce）和减半加倍（Halving Doubling-HD）全归约的梯度同步的DDL工作负载。
Keyword:
Computation-Communication Overlap
Distributed Deep Learning
Gradient Synchronization
Approximate AllReduce
Adaptive Quantization
期刊
F
IF:
0
论文数:
642
被引数:
0
机构
引用论文
.png){kind=icon}
分享收藏Approximate Gradient Synchronization With Adaptive Quantized Gradient Broadcast近似梯度同步与自适应量化梯度广播
PREAI
分享收藏A Resilience Recovery Method for Complex Traffic Network Security Based on Trend Forecasting基于趋势预测的复杂交通网络安全韧性恢复方法
OAAI
OAAI分享收藏
查看更多内容