.png){kind=icon}
返回
Importance-Aware Feature Sparsification for Wireless Split Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/jsac.2026.3741480.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
无线分割学习（SL）通过将上层网络卸载到服务器来减少设备端计算，但每次迭代传输高维中间特征仍是主要的通信瓶颈。现有方法在客户端使用与任务无关的准则（如幅度、统计量或聚类）进行特征选择，这增加了客户端处理负担，且在客户端数据非独立同分布（non-i.i.d.）时往往降低精度。我们提出了一种轻量级方法——重要性感知类平衡稀疏化（ICS），其中服务器利用反向传播过程中从真实类别logit获得的Grad-CAM基于的分数对特征通道进行排序。将每类的分数聚合为类平衡、标签无关的重要性向量，以缓解标签偏斜下的头部类别偏差，每个客户端在下一轮中复用该向量以保留前N个特征通道，无需额外的客户端前向或反向传播。我们进一步推导了非渐近收敛界，隔离了稀疏化引入的误差，并刻画了在固定通信预算下稀疏化比例和mini-batch大小如何共同影响收敛性，同时分析了ICS相对于代表性基准的通信和计算开销。除顺序CNN-based SL外，我们将ICS扩展到并行分割学习和基于Transformer的模型。实验表明，ICS在各项指标上均优于基准方法，且在严重非i.i.d.数据划分时优势更为显著。
Keyword:
Communication-efficient split learning
Grad-CAM
sparsification
compression
heterogeneous data
期刊
IF:
17.2
论文数:
6.4K
被引数:
3.1W
机构
引用论文
暂无论文信息