.png){kind=icon}
返回
Block glancing for flash speculative decoding
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neucom.2026.135363.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大语言模型（LLMs）的自回归解码特性带来了显著的推理延迟，促使推测解码作为一种有前景的加速范式。最近，基于扩散的草稿模型（如DFlash）被提出，能够在单次前向传播中并行生成草稿标记，实现了显著的加速。然而，DFlash假设每个块内的标记条件独立，忽略了连续标记之间的固有顺序依赖和句法约束。这一假设导致草稿序列不连贯、语义预测不准确，并在验证过程中产生高标记拒绝率，从而限制了整体加速效率。为解决此局限性，我们提出了一种块预览策略，为基于扩散的草稿模型引入了层间残差预览机制。具体而言，我们的方法逐步在草稿模型的中间层揭示真实标记嵌入，揭示比例由层深度和层间预测准确率共同决定，使模型能够在捕捉块内标记依赖的同时保持并行推理。在三个基准任务上的Qwen3模型的大量实验表明，我们的方法相较于当前的扩散推测解码实现了显著的加速改进。
Keyword:
Large language models
Speculative decoding
Diffusion language models
Block glancing
期刊
IF:
6.5
论文数:
2.5W
被引数:
6.5W
机构
引用论文
暂无论文信息