.png){kind=icon}
返回
Mico: efficient query scheduling for multi-cloud deployed LLM inference service
.png){kind=icon}
PRE
AI
DOI：10.1007/s11432-024-4487-8.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
鉴于大型语言模型（LLMs）的强大能力，许多科技公司将LLM推理作为一项服务提供给用户，这可能部署在多个云中以提供更好的服务。计算开销和云工作负载是云计算任务调度中的关键指标。然而，LLMs的自回归特性使得这些指标难以测量。具体而言，LLMs需要多次迭代计算来处理单个查询，并且不同查询所需的迭代次数存在显著差异。此外，批处理模型推理会因这些差异而加剧各云分配计算负载与实际计算负载之间的差距，最终影响计算资源利用率和推理服务查询处理的吞吐量。为此，我们提出了Mico，它包括基于响应长度预测的查询调度策略，以实现跨云的令牌粒度工作负载分配，以及一个支持将查询灵活插入处理批次的推理框架，消除了批处理推理中由查询迭代差异引入的不必要计算。我们基于两个GPT系列模型进行了实验，结果表明，Mico在推理过程中可将KV-Cache资源消耗降低44.89%，并将服务系统的查询处理吞吐量最高提升2.2倍。
Keyword:
query scheduling
cloud computing
prediction
LLM inference
cloud service optimization
期刊
IF:
7.6
论文数:
4.9K
被引数:
8.9K
机构
引用论文
Efficient Memory Management for Large Language Model Serving with PagedAttention使用PagedAttention服务的大型语言模型的有效内存管理
OAAI
OAAI分享收藏A hardware-friendly tiled singular-value decomposition-based matrix multiplication for transformer-based models一种面向硬件的基于分块奇异值分解的矩阵乘法，用于基于Transformer的模型.png)
IF0
PREAI
分享收藏分享收藏分享收藏
查看更多内容