Splitwise: Efficient Generative LLM Inference Using Phase Splitting

doi:10.1109/MM.2025.3575361

Splitwise: Efficient Generative LLM Inference Using Phase Splitting

0

PRE

AI

DOI：10.1109/MM.2025.3575361

原文链接

原文求助

摘要

En 中文

生成式大型语言模型（LLM）应用正在迅速增长，导致昂贵且耗能高的GPU被广泛部署。人工智能（AI）在云行业中的不断增长的电力需求已成为一个全球性问题。5我们的分析表明，LLM推理涉及两个不同的阶段：一个计算密集型的预填充阶段和一个内存密集型的解码阶段，每个阶段都有不同的资源需求。将它们一起运行会引入低效的调度。此外，与预填充阶段不同，解码阶段可以在低成本和低功耗的硬件上运行。基于这些见解，我们提出了Splitwise，一种将预填充和解码阶段分配到不同机器上的调度技术，以实现更高的吞吐量。此外，Splitwise允许针对特定阶段进行硬件优化。通过在不同机器之间高效地传输请求状态，Splitwise在相同的功耗和成本预算下实现了最高2.35倍的吞吐量提升，或者在成本降低20%、功耗不变的情况下实现1.4倍的吞吐量提升。

Keyword:

Hardware

Throughput

Costs

Artificial intelligence

Oral communication

Encoding

Bandwidth

Production

Processor scheduling

Power demand

Large language models

Generative AI

Splitwise: Efficient Generative LLM Inference Using Phase Splitting

摘要

期刊

机构

引用论文