Algorithm-Hardware Implications of Softmax Approximations for In-Memory Computing-Based LLM Accelerators

Jan Finkbeiner

doi:10.1109/JETCAS.2026.3661247

Algorithm-Hardware Implications of Softmax Approximations for In-Memory Computing-Based LLM Accelerators

2026-02-06

0

OA

AI

DOI：10.1109/JETCAS.2026.3661247

原文链接

原文求助

摘要

En 中文

随着大语言模型（LLMs）在规模和序列长度上的持续扩展，其底层Transformer架构中的softmax-注意力机制已成为关键瓶颈。基于内存计算（IMC）的架构虽能高效加速向量-矩阵乘法（VMM），但softmax的集成因计算复杂度而面临挑战。本研究对现代LLMs中softmax近似方法和精度要求进行了全面分析，涵盖从1.25亿到4050亿参数规模的多个自然语言处理（NLP）基准测试。基于这些发现，我们提出了一种针对注意力的IMC优化型softmax重述方法，在几乎不降低精度的前提下实现：1）将计算复杂度从序列长度依赖性转化为更小的注意力头维度；2）将softmax组件与相邻IMC的VMM操作合并。我们提供了数字和模拟两种实现方案。数字方案将面积开销降至81.2 μm²，每输入-输出对能耗为0.69 pJ，相比当前最优方案能耗-延迟-面积积降低20倍以上。模拟方案通过脉冲编码实现37.1 μm²和0.33 pJ的能耗。这些结果凸显了重新思考softmax计算对IMC的重要性，以实现可扩展的Transformer加速器。

Keyword:

Softmax

attention

transformers

LLM

in-memory computing

Algorithm-Hardware Implications of Softmax Approximations for In-Memory Computing-Based LLM Accelerators

摘要

期刊

机构

引用论文