.png){kind=icon}
返回
Accelerating Sparse Transformer Inference on GPU
.png){kind=icon}
PRE
AI
DOI：10.1145/3774934.3786434.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大语言模型（LLMs）因其强大的理解能力而风靡全球。作为LLMs的核心组件，通过并行化加速Transformer已逐渐成为热门研究课题。掩码层通过引入稀疏性来减少Transformer的计算量。然而，以往的工作很少关注稀疏Transformer的性能优化。此外，当前的静态算子融合方案难以适应多样化的应用场景。为解决上述问题，我们提出了STOF框架，该框架针对稀疏Transformer进行优化，支持在GPU上实现灵活的掩码和算子融合。对于多头注意力（MHA）结构，STOF根据解析模型将计算映射到行级或块级核函数，并采用独特的存储格式。对于下游算子，STOF将融合方案映射到编译模板，并通过两阶段搜索确定最优运行配置。实验结果表明，与当前最优工作相比，STOF在MHA计算和端到端推理中分别实现了1.6倍和1.4倍的最大加速。
Keyword:
GPU
Sparse Transformer
Multi-head Attention
Operator Fusion
期刊
机构
引用论文
.png){kind=icon}
分享收藏Raptor-T: A Fused and Memory-Efficient Sparse Transformer for Long and Variable-Length Sequences
PREAI
分享收藏
查看更多内容