.png){kind=icon}
返回
Workload-Adapted Resource Allocation for LLM Distributed Serving in Serverless Clusters
.png){kind=icon}
PRE
AI
DOI：10.1109/TPDS.2026.3683122.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大型语言模型日益依赖流水线并行处理分布式推理，但现有系统在无服务器环境中面临关键挑战：流水线各阶段异构请求分布和不可预测的工作负载模式需要快速弹性扩展。传统静态资源分配无法解决流水线特有的瓶颈和无服务器架构固有的冷启动延迟。我们提出了Quart，一种面向LLM分布式服务的无服务器集群工作负载自适应资源分配系统。Quart通过以下方式引入流水线感知资源管理：（1）基于变异系数（CV）突发传播分析的延迟感知关键阶段识别，（2）针对拥塞阶段采用比例-积分-微分（PID）控制的动态副本分配，（3）通过写时复制机制的分层参数缓存，实现亚秒级无服务器扩展。该系统通过缓存感知调度维护内存中的模型参数，在快速扩展事件期间消除磁盘I/O开销，以应对无服务器特有的挑战。实际工作负载评估表明，与现有无服务器推理系统相比，Quart将平均响应延迟降低最多87.1%，同时将有效吞吐量提高2.37倍。
Keyword:
Pipeline inference
large language model
serverless
期刊
IF:
6
论文数:
5.2K
被引数:
1.1W
机构
引用论文
.png){kind=icon}
Efficient Memory Management for Large Language Model Serving with PagedAttention使用PagedAttention服务的大型语言模型的有效内存管理
OAAI
OAAI分享收藏
查看更多内容