.png){kind=icon}
返回
Learnable Cloud-Guided LLM Quantization for Resource-Constrained Edge Devices
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-10459-5_33.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
模型量化对于将大型语言模型(LLMs)部署在资源受限的边缘设备上至关重要。然而，在云-边协作中，边缘设备(EDs)通常缺乏进行设备上量化的资源。此外，现有的训练后量化(PTQ)方法采用静态参数方法，无法适应多样化的本地数据分布。为解决这些挑战，我们提出了一种新颖方法，即基于分布校正的可学习量化(LQGDC)，用于生成一个最优、轻量化的模型，该模型可在云-边协作框架内被传送到ED进行本地推理。在该框架中，边缘设备将少量本地数据上传到云端作为校准集。云服务器随后从模型池中选择一个合适的预训练模型，并应用LQGDC进行模型量化。LQGDC引入了可学习参数用于权重、激活值和键值(KV)缓存。LQGDC采用复合损失函数，结合均方误差(MSE)、余弦相似度和Kullback-Leibler(KL)散度来微调参数，从而匹配每个设备的独特数据分布。在七个数据集上的实验表明，LQGDC在语言生成和零样本任务中均优于所有三个当前基线。具体而言，在将LLaMA-13B量化为W4A4KV4时，LQGDC相比最佳基线降低了1.92的平均困惑度(PPL)，并将零样本任务准确率提高了2.14%。这种方法为在资源受限的ED上实现单AI任务（例如智能手机上的复杂语音命令处理、工业无人机上的实时视觉缺陷检测以及具有长期上下文的文档分析）展示了良好的前景。
Keyword:
LLMs
Model quantization
Local Inference
Cloud-Edge Collaboration
Post-Training Quantization
期刊
N
IF:
0
论文数:
29
被引数:
0
机构
查看更多机构
引用论文
IntactKV: Improving Large Language Model Quantization by Keeping Pivot Tokens IntactIntactKV：通过保持枢纽标记完整来改进大型语言模型量化
.png){kind=icon}
PREAI
分享收藏
没有更多内容