.png){kind=icon}
返回
Gradient Normalization Enables Communication-Efficient Distributed Learning Under Initialization Data Heterogeneity
.png){kind=icon}
PRE
AI
DOI：10.1109/tpami.2026.3689520.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
通信高效的分布式学习在众多客户端上训练大规模深度神经网络方面取得了显著进展。然而，在异构环境中——其中本地数据分布存在显著差异——许多此类算法的经验性能急剧下降。此外，现有的理论分析通常依赖于过于严格的假设，例如数据异构性有界，这甚至可能对单个客户端无效。在这项工作中，我们提出了一种通用的梯度归一化策略，可以无缝集成到广泛的分布式学习算法中，包括压缩分布式随机梯度下降、联邦平均和异步变体。我们的理论分析表明，这种归一化技术有效缓解了数据异构性的负面影响，使得这些算法仅需初始数据异构性有界即可实现线性加速比。大量的数值实验进一步证实了我们方法的实际有效性和理论保证。
Keyword:
Asynchronous learning
communication compression
data heterogeneity
distributed learning
federated learning
gradient normalization
momentum
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
Lower Bounds and Nearly Optimal Algorithms in Distributed Learning with Communication Compression
PREAI
分享收藏
查看更多内容