.png){kind=icon}
返回
Data-driven optimization of GPU efficiency for distributed LLM-adapter serving
.png){kind=icon}
OA
AI
DOI：10.1016/j.future.2026.108735.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大型语言模型（LLM）适配器实现了低成本模型专业化，但在分布式服务系统中引入了复杂的缓存和调度挑战，其中必须同时托管数百个适配器。尽管先前研究主要关注延迟和吞吐量优化，但通过近峰值利用率最小化GPU资源需求仍 largely underexplored。本文提出了一种数据驱动流水线，针对给定工作负载，计算一个适配器放置方案，以最小化GPU数量同时避免请求饥饿和GPU内存错误。为此，该方法通过利用从实际服务行为中学习到的准确性能预测，识别每块GPU可达到的最大可行吞吐量。所提出的流水线整合了三个组件：(i) 针对LLM-适配器服务的数字孪生（DT），(ii) 在DT生成数据上训练的蒸馏机器学习（ML）模型，以及(iii) 一种利用ML基性能估计来最大化GPU效率的贪心放置算法。DT以高保真度模拟真实系统动态，在可预测和不可预测工作负载中均实现低于5%的吞吐量估计误差，同时比完整LLM基准测试快多达90倍。学习到的ML模型进一步加速性能估计，仅导致轻微精度下降，实现可扩展优化。实验结果表明，该流水线显著提高了GPU效率，在评估场景中平均将维持目标工作负载所需的GPU数量减少了60%。除了GPU效率，该流水线还可适应其他目标，如延迟最小化，突显其未来大规模LLM服务基础设施的适用性。
期刊
F
IF:
6.1
论文数:
6.9K
被引数:
2.3W
机构
引用论文
Efficient Memory Management for Large Language Model Serving with PagedAttention使用PagedAttention服务的大型语言模型的有效内存管理OAAI
OAAI分享收藏SciPy 1.0: fundamental algorithms for scientific computing in PythonSciPy 1.0: Python中科学计算的基本算法.png)
NATURE METHODS
OAAI
NATURE METHODSIF32.1
OAAI分享收藏Parameter-efficient fine-tuning in large language models: a survey of methodologies大型语言模型中的参数有效微调: 方法综述OAAI
OAAI分享收藏 没有更多内容
没有更多内容