When foresight pruning meets zeroth-order optimization: Efficient federated learning for low-memory devices

Pengyu Zhang

doi:10.1016/j.sysarc.2025.103526

When foresight pruning meets zeroth-order optimization: Efficient federated learning for low-memory devices

2025-08-05

0

PRE

AI

DOI：10.1016/j.sysarc.2025.103526

原文链接

原文求助

摘要

En 中文

为便于在低内存嵌入式设备上进行联邦学习（FL），各种联邦剪枝方法旨在减少推理时的内存使用，但对训练内存负担的影响有限。相比之下，零阶或无反向传播（BP-Free）方法虽能部分缓解内存消耗，但随着模型参数数量的增加，仍面临计算开销问题。为解决这些问题，我们提出了一种基于神经切线核（NTK）的内存高效联邦前瞻剪枝方法，该方法能无缝集成到联邦BP-Free训练框架中。我们利用局部NTK矩阵近似联邦NTK，并证明该方法的数据无关特性在高度异构数据场景下显著降低了近似误差。我们的方法在减少浮点运算（FLOPs）的同时改进了原始BP-Free方法，并缓解了剪枝和训练过程中的内存压力，使FL在低内存设备上更具可行性。在仿真和真实测试平台上的实验结果表明，与原始BP-Free方法相比，我们的方法将准确率最高提升6.35%，并将FLOPs最多降低57%，同时保持了相同的9倍内存使用节省。

Keyword:

Federated Learning

Neural Tangent Kernel

Federated Pruning

Backpropagation-Free

Memory Efficiency

When foresight pruning meets zeroth-order optimization: Efficient federated learning for low-memory devices

摘要

期刊

机构

引用论文