.png){kind=icon}
返回
MultiGS: Multi-Dimensional Information-Aware Gradient Sparsification
.png){kind=icon}
PRE
AI
DOI：10.1109/TCSVT.2025.3636885.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
梯度稀疏化（GS）是减少分布式训练中通信开销的有效方法。首次将多维信息概念引入GS，并提出了一种新的梯度稀疏化方法，即多维信息感知梯度稀疏化（MultiGS），该方法能够在几乎不损失精度的情况下实现高压缩率，并适用于主流网络架构。MultiGS通过结合局部梯度的高频分量和稀疏化全局梯度的低频分量来重构层梯度，有效解决了梯度滞后问题并缓解了模型分歧。通过证明MultiGS在光滑非凸问题上的收敛性以及与动量SGD在收敛速度上的比较，我们证明了这种新的视角在理论上是合理的且在实践中是有效的。经主流模型家族（即ResNets、VGGNet、LSTM、Vision Transformer和大型语言模型）验证，我们的MultiGS在精度上优于之前的GS方法。此外，实验结果表明，在拥有足够多训练节点的情况下，MultiGS将分布式训练加速超过3倍，优于现有的稀疏化方法。
Keyword:
Distributed training
gradient sparsification
neural network acceleration
期刊
IF:
11.1
论文数:
873
被引数:
3.1W
机构
引用论文
.png){kind=icon}
分享收藏
MIFNet: Multi-scale Interaction Fusion Network for Remote Sensing Image Change DetectionMIFNet：用于遥感图像变化检测的多尺度交互融合网络
PREAI
分享收藏
查看更多内容