.png){kind=icon}
返回
Efficient Layer-Granularity Unloading for LLMs in Edge Computing
.png){kind=icon}
PRE
AI
DOI：10.1109/tmc.2026.3697118.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
边缘计算和容器技术的进步使得通过容器在边缘部署大型语言模型（LLMs）越来越流行和便捷。然而，边缘服务器有限的GPU资源使得由于高内存成本，长时间将模型保留在GPU内存中不切实际，尤其是在它们空闲且无用户请求时。现有工作将整个空闲模型卸载以减少边缘服务器的内存成本，但重新加载它们会引入显著的加载延迟，影响任务服务质量（QoS）。因此，高效管理空闲模型是一个关键问题，在现有研究中很大程度上被忽视，需要紧急关注。为解决这一差距，本文从内存成本与加载延迟的权衡约束QoS的角度研究了空闲模型管理问题。提出了一种新颖的基于层级的模型卸载方法，利用了模型的层级特性。我们构建了一个在线联合优化问题来确定卸载哪些层级以及何时卸载，并提出了一种受滑雪租赁问题启发的基于层级的卸载策略来解决这个问题。我们在NVIDIA GPU上实现了一个具有基于层级卸载的LLMs真实系统，并验证了所提出方法的有效性。实验结果表明，该方法有效权衡了内存成本和加载延迟，整体性能提升最高达39.6%。
Keyword:
LLM
model unloading
layer-granularity
edge computing
online joint optimization
期刊
IF:
9.2
论文数:
6.0K
被引数:
2.0W
机构
引用论文
Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond在实践中利用LLMs的力量: 关于ChatGPT及以后的调查
OAAI
.png){kind=icon}
OAAI分享收藏VELO: A Vector Database-Assisted Cloud-Edge Collaborative LLM QoS Optimization FrameworkVELO：一种基于向量数据库的云边协同大语言模型服务质量优化框架
PREAI
分享收藏分享收藏Large Language Models (LLMs) Inference Offloading and Resource Allocation in Cloud-Edge Computing: An Active Inference Approach云边缘计算中的大型语言模型 (llm) 推理卸载和资源分配: 一种主动推理方法
PREAI
分享收藏分享收藏
查看更多内容