Layer-wise Principal Gradient Compression for Distributed Machine Learning

doi:10.1109/tc.2026.3727583

Layer-wise Principal Gradient Compression for Distributed Machine Learning

2026-08-26

0

PRE

AI

DOI：10.1109/tc.2026.3727583

原文链接

原文求助

摘要

En 中文

分布式机器学习（DML）可以通过使用多个训练节点和大型数据集来加速模型训练。随着模型和数据规模的增大，DML通常使用更多的训练节点，频繁的模型信息交换会产生高通信开销。为了降低此开销，我们提出了PrincipalCatcher，一种基于主成分分析（PCA）和误差反馈的逐层梯度压缩方法。PrincipalCatcher使用PCA捕获每层的梯度主要成分，并在迭代训练期间仅传输压缩后的梯度表示。为限制有损压缩导致的精度损失，每个工作节点累加压缩误差，并在下一轮中将其添加到梯度中。我们在分布式训练设置下的图像分类任务上评估了PrincipalCatcher。结果表明，PrincipalCatcher在大多数测试设置中可将梯度传输量最多减少96.4%，同时保持的精度接近传统随机梯度下降法。

Keyword:

Distributed Machine Learning

Principal Component Analysis

Gradient Compression

Error Feedback

Layer-wise Principal Gradient Compression for Distributed Machine Learning

摘要

期刊

机构

引用论文