Task-Adaptive Speculative Decoding for Efficient LLM Inference

2026-10-27

0

PRE

AI

DOI：10.1016/j.jpdc.2026.105374

摘要

En 中文

• 任务自适应投机解码以实现高效大语言模型推理。 • 通过无监督输入流聚类自动实现在线任务发现。 • 通过将异构草稿模型与下游任务对齐来提高草稿准确性。 • 自动构建分类器以引导提示向最优草稿模型。 • 实现最高2.55倍加速和45。

Keyword:

Speculative decoding

Inference acceleration

Task-specific

Heterogeneous draft models

Model alignment