DayPQ: Dynamic Layerwise Pruning and Quantization for LLM Inference Acceleration

doi:10.1109/TVLSI.2026.3666193

DayPQ: Dynamic Layerwise Pruning and Quantization for LLM Inference Acceleration

2026-03-03

0

PRE

AI

DOI：10.1109/TVLSI.2026.3666193

原文链接

原文求助

摘要

En 中文

在资源受限硬件上部署主流大型语言模型（LLMs）面临严峻挑战，因其具有巨大的计算和内存需求。剪枝和量化（PQ）作为两种主要的LLM加速技术，面临着在实践过程中充分保留模型能力的同时实现显著加速的挑战。静态PQ不可逆地丢弃了潜在的临界参数，并在不同输入下降低了精度，这必须通过微调来补偿。动态PQ保留了精度，但产生了高昂的硬件开销和运行时适配带来的额外延迟。实现低延迟和高效率开销的动态PQ需要与硬件紧密集成的自适应压缩协同设计。本文提出DayPQ，一种算法-硬件协同优化技术，用于高效LLM推理：算法层面的自适应性归一化剪枝和偏移FP8量化，与硬件层面的乘法自由移位-加PE阵列和可切换数据流相结合，实现了动态加速且精度损失可忽略不计且无额外延迟。DayPQ通过内在利用模型推理过程中的归一化操作实现自适应PQ，而非额外操作。同时，它建立了稀疏性与量化之间的动态正交性，其中这两种压缩机制协同增强冗余减少，超越了独立操作简单叠加的效果。我们的评估表明，DayPQ比三种当前最佳（SOTA）加速器平均获得3.13倍的能效提升和2.03倍的性能提升。

Keyword:

Dynamic pruning

hardware acceleration

large language model (LLM)

layerwise

quantization

DayPQ: Dynamic Layerwise Pruning and Quantization for LLM Inference Acceleration

摘要

期刊

机构

引用论文