.png){kind=icon}
返回
Communication Efficient Federated Learning With Quantization-Aware Training Design
.png){kind=icon}
PRE
AI
DOI：10.1109/TMLCN.2025.3635050.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
模型量化是提高联邦学习（FL）通信效率的有效方法。现有的FL量化协议几乎停留在后训练量化（PTQ）水平，这会导致较大的量化损失，尤其是在低比特量化设置下。本文提出了一种FL量化训练策略以减少量化对模型质量的影响。具体而言，我们首先将量化感知训练（QAT）应用于FL（QAT-FL），通过向模型添加假量化模块来减少量化失真，使模型能够在训练过程中感知未来的量化。在特定假设下建立了QAT-FL算法的收敛性保证。在QAT-FL算法的基础上，我们扩展了对非均匀量化和自适应算法的讨论，使模型能够自适应地调整参数分布和量化比特数以减少训练中的通信量。基于MNIST、CIFAR-10和FEMNIST数据集的实验结果表明，QAT-FL在训练损失和模型推理准确率方面具有优势，且QAT-FL的自适应比特量化也显著提高了通信效率。
Keyword:
Quantization (signal)
Adaptation models
Computational modeling
Training
Convergence
Analytical models
Vectors
Servers
Federated learning
Distortion
quantization-aware learning
non-uniform quantization
post-training quantization
adaptive-bits quantization
期刊
I
机构
引用论文
Wireless Quantized Federated Learning: A Joint Computation and Communication Design无线量化联邦学习: 联合计算和通信设计
OAAI
OAAI分享收藏Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference用于有效的仅整数算术推理的神经网络的量化和训练
OAAI
OAAI分享收藏Efficiency Optimization Techniques in Privacy-Preserving Federated Learning With Homomorphic Encryption: A Brief Survey具有同态加密的隐私保护联合学习中的效率优化技术: 简要调查
PREAI
分享收藏分享收藏Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning.png)
ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)OAAI
ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
OAAI分享收藏Computation and Communication Efficient Federated Learning With Adaptive Model Pruning具有自适应模型修剪的计算和通信高效联合学习
PREAI
分享收藏
查看更多内容