.png){kind=icon}
返回
PredLM: A Sparse Large Language Model Decoding Accelerator With Hardware-Efficient Zero-Activation Prediction
.png){kind=icon}
PRE
AI
DOI：10.1109/TCSII.2026.3690531.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文介绍PredLM，一种硬件-算法协同设计的加速器，通过积极减少外部内存访问（EMA）以实现实时大型语言模型（LLM）解码。首先，我们引入一种简单但有效的键值（KV）缓存管理策略，使KV缓存大小与上下文长度无关，显著降低KV缓存的外部内存访问。其次，我们提出一种前馈网络的动态零激活预测方案，允许硬件动态跳过不必要的乘累加运算和权重获取。为无缝支持这些预测算法，PredLM采用同构处理单元阵列，能够支持结构稀疏和密集向量-矩阵乘法的执行。采用28纳米CMOS工艺实现，并使用OPT-1.3B和Llama2-7B模型进行评估，PredLM实现每输出token 1.76和9.41毫秒/token的时间延迟以及19.77和105.09毫焦/token的能量效率，困惑度下降可忽略不计，相比现有最先进LLM加速器，吞吐量提升18.1倍，能量效率提升4.92倍。
Keyword:
Large language models (LLMs)
key-value (KV) cache reduction
zero-activation prediction
期刊
I
IF:
0
论文数:
153
被引数:
0
机构
引用论文
.png){kind=icon}
Mobile Transformer Accelerator Exploiting Various Line Sparsity and Tile-Based Dynamic Quantization
PREAI
分享收藏Advanced Packaging Technologies in Memory Applications for Future Generative AI Era未来生成式人工智能时代中内存应用的高级封装技术
PREAI
分享收藏分享收藏T-REX: Hardware–Software Co-Optimized Transformer Accelerator With Reduced External Memory Access and Enhanced Hardware UtilizationT-REX：一种硬件-软件协同优化的Transformer加速器，具有减少外部内存访问和增强硬件利用率的特点
PREAI
分享收藏 没有更多内容
没有更多内容