.png){kind=icon}
返回
Adaptive Pruning for Large Language Models With Structural Importance Awareness
.png){kind=icon}
PRE
AI
DOI：10.1109/JIOT.2026.3654102.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近年来，大型语言模型（LLMs）的显著进展极大地提升了语言理解和内容生成能力。然而，由于LLMs存在巨大的计算和存储需求，将其部署在资源受限的物联网（IoT）设备上仍然具有挑战性。为解决此问题，我们提出了一种新颖的LLMs剪枝方法，即结构感知自适应剪枝（SAAP），以降低LLMs的计算和存储成本，同时保持模型性能。具体而言，SAAP首先利用最大似然估计对传统的结构重要性指标进行校准，以用于LLMs剪枝。接着，它采用贝叶斯融合方法处理多粒度指标中的预测不确定性，从而实现对LLMs结构重要性的准确评估。然后，SAAP引入了一种基于分位数映射的跨层重要性对齐机制，该机制将层重要性得分归一化，以确保从全局视角进行一致的剪枝。此外，SAAP开发了一种高效的块级微调策略，以提升剪枝后LLMs的性能。为验证SAAP的有效性，我们在两个代表性任务——语言建模和零样本分类——的九个开源LLMs上进行了广泛的实验。实验结果表明，SAAP始终优于几种基线方法，当剪枝比例为50%时，在LLaMA-7B、Vicuna-7B和LLaMA-13B上分别实现了2.5%、2.63%和2.44%的精度提升。最后，我们在测试平台NVIDIA Jetson AGX Orin 32GB Developer Kit上实现了SAAP。测试结果显示，与基础LLMs相比，当剪枝比例为50%时，SAAP将推理速度提升了86.86%，凸显了其在资源受限的IoT设备上进行实际部署的潜力。
Keyword:
Fine-tuning
large language model (LLM)
model pruning
structural importance
期刊
IF:
8.9
论文数:
1.4W
被引数:
7.8W
机构
引用论文
.png){kind=icon}
AI-Powered Video Monitoring: Assessing the NVIDIA Jetson Orin Devices for Edge Computing ApplicationsAI赋能视频监控：评估NVIDIA Jetson Orin设备在边缘计算应用中的表现
PREAI
分享收藏GLM: General Language Model Pretraining with Autoregressive Blank InfillingGLM: 具有自回归空白填充的通用语言模型预训练
OAAI
OAAI分享收藏
查看更多内容