.png){kind=icon}
返回
SparseLight: Dynamic gradient-optimized softmax for efficient transformer acceleration
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2025.115050.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
得益于自注意力机制捕获长距离依赖的能力，Transformer在NLP、计算机视觉和语音任务等多个领域取得了卓越性能。此外，基于Transformer的大型语言模型（LLMs）推动了人工智能的显著进步。在自注意力机制中，softmax函数在捕获不同token的关联性方面发挥着关键作用。然而，softmax的硬件实现由于涉及指数和除法运算，计算成本高昂，尤其是在边缘设备上。具体而言，对于长序列输入（例如超过8192个token），softmax占总计算时间的23.5%以上。本文提出SparseLight，一种动态梯度优化的稀疏softmax方法，能够显著加速Transformer的推理过程。为缓解直接应用稀疏softmax导致性能下降的问题，我们将softmax稀疏性表述为数学优化问题，并通过梯度下降算法求解。遗憾的是，Transformer在通道和token之间常表现出显著的分布差异，导致梯度优化过度关注异常值并引发性能下降。为解决此问题，引入了一种平衡策略以减弱通道和token间异常值的影响。基于Fisher信息矩阵条件数的理论分析证明了我们方法的有效性。在视觉和语言任务上的广泛实验表明，SparseLight可作为标准softmax的高效替代方案。在GPU上的评估显示，SparseLight在LLaMA2-7B上实现了18%的加速，突显了其实际部署的潜力。代码将很快公开。
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容