.png){kind=icon}
返回
Approximate Gradient Synchronization With Adaptive Quantized Gradient Broadcast
.png){kind=icon}
PRE
AI
DOI：10.1016/j.future.2025.107983.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
鉴于深度神经网络的分层训练工作流，近期进展表明，通过将梯度分割成块并重新排列其传输，分布式深度学习（DDL）工作节点可以重叠部分通信与计算，以隐藏模型同步的开销。然而，并非所有通信都能被完美掩盖（例如第一层梯度）。一种有前景的解决方案是传输量化梯度而非原始值，以进一步消除通信瓶颈。本文提出AQGB（自适应量化梯度广播），通过设计高效的多级量化和灵活的量化比率控制，来加速数据并行分布式训练的收敛。与现有的固定量化方案不同，AQGB能够根据网络状态和训练进度调整量化级别，以最大化计算-通信重叠（CCO），该重叠由一个新颖的指标ROW（重叠时间与等待时间之比）量化。与无量化及4位固定QSGD量化相比，AQGB可分别将训练收敛速度（以收敛时间计）提升约3.15倍和1.24倍。
期刊
F
IF:
0
论文数:
642
被引数:
0
机构
暂无机构信息
引用论文
.png){kind=icon}
分享收藏AC-SGD: Adaptively Compressed SGD for Communication-Efficient Distributed LearningAc-sgd: 自适应压缩的SGD，用于通信高效的分布式学习
PREAI
分享收藏
查看更多内容