.png){kind=icon}
返回
Biased Compression in Gradient Coding for Distributed Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/TSP.2026.3656662.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
通信瓶颈和存在拖后腿节点（stragglers）对分布式学习（DL）构成了显著挑战。为应对这些挑战，近期进展利用了无偏压缩函数和梯度编码。然而，有偏压缩的显著优势在很大程度上仍未得到探索。为填补这一空白，我们提出了压缩梯度编码与误差反馈（Compressed Gradient Coding with Error Feedback, COCO-EF）方法，这是一种结合梯度编码与有偏压缩的新型DL方法，旨在缓解拖后腿节点的影响并降低通信成本。在每次迭代中，非拖后腿节点对冗余分配的训练数据生成的局部梯度进行编码，加入先前的压缩误差，并在传输前使用有偏压缩函数对结果进行压缩。服务器聚合这些来自非拖后腿节点的压缩消息，以近似全局梯度用于模型更新。我们为COCO-EF提供了严格的收敛性理论保证，并通过实证评估验证了其相较于基线方法的优越学习性能。据我们所知，我们是首批严格证明在有梯度编码应对拖后腿节点的情况下，有偏压缩在DL中具有显著优势的研究者。
Keyword:
Compression
distributed learning
gradient coding
convergence analysis
期刊
I
IF:
5.8
论文数:
341
被引数:
0
机构
引用论文
.png){kind=icon}
查看更多内容