.png){kind=icon}
返回
AdaCons: Adaptive Consensus Gradient Aggregation for Distributed Training
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-04160-9_3.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
分布式机器学习近年来已成为在大规模数据集上训练大型模型的关键范式。我们考察了在同步并行计算环境及通信约束条件下，深度学习的随机优化问题。尽管分布式梯度平均是梯度估计的默认方法，但这一策略是否最优仍是一个悬而未决的问题。本文通过子空间优化的视角分析分布式梯度聚合过程。通过将聚合问题表述为面向目标的子空间优化问题，我们推导出一种高效的梯度加权方案。我们的方法在聚合过程中保持统计无偏性，且无需超参数调整。我们在多个MLPerf任务上展示了该方法相较于普遍的梯度平均方法具有更优性能，同时在通信和计算复杂度上保持高效。代码以补充材料形式提供。
Keyword:
Distributed training
Data parallelism
Optimization
期刊
机构
暂无机构信息
引用论文
暂无论文信息