.png){kind=icon}
返回
Quantize-Sample-and-Verify: LLM Acceleration via Adaptive Edge-Cloud Speculative Decoding
.png){kind=icon}
PRE
AI
DOI：10.1109/LCOMM.2026.3651580.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在边缘-云推测解码（SD）中，配备小型语言模型（SLMs）的边缘设备生成草稿标记，这些标记由云中的大型语言模型（LLMs）进行验证。此类系统的关键瓶颈是边缘与云之间的通信带宽有限，这要求对生成的标记信息进行量化。在本工作中，我们提出了一种新颖的量化-采样（Q-S）策略，该策略可证明能保持云基模型的输出分布，确保验证后的标记与直接由LLM生成的标记分布一致。我们为边缘-云SD开发了一个吞吐量模型，该模型明确考虑了通信延迟。利用此模型，我们提出了一种自适应机制，通过动态调整草稿长度和量化精度来优化标记吞吐量，以响应语义不确定性和信道条件。仿真结果表明，所提出的Q-S方法在真实的边缘-云部署场景中显著提高了解码效率。
Keyword:
Edge-cloud speculative decoding
large language models
reinforcement learning
期刊
IF:
4.4
论文数:
1.3W
被引数:
2.2W
机构
引用论文
.png){kind=icon}
Bridging Terrestrial and Non-Terrestrial Networks: A Novel Architecture for Space-Air-Ground-Sea Integration System融合地面与非地面网络的架构：一种空间-空中-地面-海洋一体化系统的新型架构
PREAI
分享收藏
查看更多内容