Latency-Efficient LLM Split Inference With Token Reduction

doi:10.1109/tvt.2026.3742922

Latency-Efficient LLM Split Inference With Token Reduction

2026-10-12

0

PRE

AI

DOI：10.1109/tvt.2026.3742922

原文链接

原文求助

摘要

En 中文

本文研究了面向多用户移动边缘网络的大型语言模型（LLMs）的低延迟拆分推理方法。卸载用户在其拆分层之前执行本地LLM层，在拆分层执行token缩减，并将保留的隐藏状态传输到边缘服务器，而完全本地用户在设备上执行所有层。我们构建了一个混合整数非线性规划模型，通过联合优化拆分层、token保留比例、带宽分配和边缘计算分配，在任务性能约束下最小化预填充延迟的加权和。随后，我们提出了一种启发式交替优化算法，其中保留比例设置为最小可行值，边缘计算分配以闭式形式获得，带宽分配通过二分法确定。基于在Qwen2.5-0.5B-Instruct上校准的token缩减和任务性能模型的仿真结果表明，所提出的方法在评估的资源设置下降低了延迟，与固定拆分方法相比，实现了最高67.5%的配对相对延迟降低。

Keyword:

Edge computing

large language models

split inference

token reduction

resource allocation

Latency-Efficient LLM Split Inference With Token Reduction

摘要

期刊

机构

引用论文