.png){kind=icon}
返回
Differential Error Feedback for Communication-Efficient Decentralized Learning
.png){kind=icon}
OA
AI
DOI：10.1109/TSP.2025.3564416.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
受限于通信的分布式学习和优化算法依赖于局部更新与压缩信号的交换。在此背景下，差分量化是一种有效技术，通过利用连续迭代之间的相关性来减轻压缩的负面影响。此外，采用误差反馈机制（将压缩误差纳入后续步骤）是补偿压缩偏差的有力手段。在误差反馈下，现有文献中的性能保证主要集中在采用融合中心或一类特殊收缩压缩器的算法上，而这些压缩器无法用有限比特实现。本文提出了一种新的分布式通信高效学习算法，将差分量化与误差反馈相结合。该算法专门针对分布式学习问题设计，其中各智能体在子空间约束下最小化各自的损失函数，要求网络中的解位于低维子空间中。这种约束形式包含共识或单任务优化作为特例，并允许更一般的任务相关性模型，如多任务平滑性和耦合优化。我们证明，在压缩噪声的一般性条件下，且步长μ足够小时，所得到的通信高效策略在均方误差和平均比特率方面均稳定：通过减小μ，可以在μ→0时，保持估计误差（与μ同阶）小而不无限增加比特率。结果表明，在步长较小且使用有限比特时，可以达到无压缩时的性能。
Keyword:
Error feedback
differential quantization
compression operator
decentralized subspace projection
single-task learning
multitask learning
mean-square-error analysis
bit rate analysis
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W
机构
引用论文
.png){kind=icon}
分享收藏SQuARM-SGD: Communication-Efficient Momentum SGD for Decentralized OptimizationSQuARM-SGD：一种用于分布式优化的通信高效动量SGDOAAI
OAAI分享收藏
查看更多内容