.png){kind=icon}
返回
Asynchronous Distributed Learning Based on Gradient Coding
.png){kind=icon}
PRE
AI
DOI：10.1109/tsp.2026.3693548.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文研究了分布式学习（DL）问题，其中不同设备在训练过程中完成本地计算所需响应时间不同。为解决此问题，现有的梯度编码（GC）技术是在同步环境下设计的，服务器需等待每轮迭代中固定数量的最快设备传输编码梯度以完全恢复全局梯度。然而，这些GC技术存在显著低效性，因为慢设备的计算结果被浪费，其信息对服务器更新全局模型并非必需。为克服此局限，我们提出了一种基于GC的新型异步DL方法（AGC）。在AGC中，训练数据子集被冗余复制并分配至设备，设备编码其本地子集的本地梯度并向服务器发送编码梯度。服务器基于从一定数量设备接收的编码梯度异步更新全局模型，这些梯度可能源自历史全局模型或最新模型。通过这种方式，慢设备的计算结果也能被利用，有助于提高训练效率并缩短训练时间。我们针对频繁全局同步的异步环境下AGC进行了收敛性分析，并证明其收敛速率为$\boldsymbol{O}\mathbf{(1}\boldsymbol{/\sqrt{T}}\mathbf{)}$。最后，数值结果证明了所提方法相比基线方法的优越性，AGC在相同训练时间内实现了更好的学习性能。
Keyword:
Asynchronous setting
distributed learning
gradient coding
straggling behaviors
期刊
I
IF:
5.8
论文数:
341
被引数:
0
机构
引用论文
.png){kind=icon}
Distributed Learning in Wireless Networks: Recent Progress and Future Challenges无线网络中的分布式学习: 最新进展和未来挑战
OAAI
OAAI分享收藏Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation自适应编码联邦学习：隐私保护与滞后节点缓解
PREAI
分享收藏The applications of machine learning techniques in medical data processing based on distributed computing and the Internet of Things基于分布式计算和物联网的机器学习技术在医学数据处理中的应用
PREAI
分享收藏
查看更多内容