Automated Pruning Framework for Large Language Models Using Combinatorial Optimization

doi:10.3390/ai6050096

Automated Pruning Framework for Large Language Models Using Combinatorial Optimization

2025-07-27

0

OA

AI

P

Patcharapol Ratsapa

K

Kundjanasith Thonglek

DOI：10.3390/ai6050096

原文链接

原文求助

摘要

En 中文

当前，大型语言模型（LLMs）已被应用于自然语言处理的许多方面。然而，由于其显著的规模和高计算需求，部署需要大量的计算资源。在本研究中，我们专注于此类模型的自动化尺寸缩减方法。我们提出了基于组合优化的自动化剪枝框架。特别研究了两种技术，即粒子群优化（PSO）和鲸鱼优化算法（WOA）。模型剪枝问题被建模为组合优化任务，其目标是在保持模型精度的同时最小化模型尺寸。该框架系统地探索搜索空间，以识别最优的剪枝配置，去除冗余或无贡献的参数。两种优化方法PSO和WOA被评估其高效导航搜索空间的能力。结果表明，使用PSO，所提出的框架可以将Llama-3.1-70B的模型尺寸减少13.44%，同时保持模型精度损失为19.25%；使用WOA，模型尺寸减少12.07%，模型精度损失为22.81%。由于剪枝过程中可能出现精度下降，该框架集成了后处理以恢复模型精度。经过此过程后，使用PSO和WOA剪枝模型的损失可分别降低至12.72%和14.83%。

Keyword:

large language models

model pruning

combinatorial optimization

particle swarm optimization

whale optimization algorithm

Automated Pruning Framework for Large Language Models Using Combinatorial Optimization

摘要

期刊

机构