.png){kind=icon}
返回
eMamba: Efficient Acceleration Framework for Mamba Models in Edge Computing
.png){kind=icon}
OA
AI
DOI：10.1145/3762190.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于状态空间模型（SSM）的机器学习架构最近在处理序列数据方面获得了显著关注。Mamba是一种近期提出的序列到序列的SSM，相较于当前最先进的Transformer模型，它提供了具有竞争力的精度和更优越的计算效率。虽然这一优势使Mamba特别适用于资源受限的边缘设备，但目前尚无硬件加速框架针对其在这些环境中的部署进行优化。本文提出eMamba，一个全面且端到端的硬件加速框架，专门设计用于在边缘平台上部署Mamba模型。eMamba通过用轻量级的硬件感知替代方案替换复杂的归一化层，并根据目标应用近似昂贵的操作（如SiLU激活和指数运算），从而最大化计算效率。随后，它执行一种针对近似优化的神经架构搜索（NAS），以调整近似过程中使用的可学习参数。在Fashion-MNIST、CIFAR-10以及MARS（一个开源的人体姿态估计数据集）上的评估表明，eMamba在使用1.63-19.9倍更少参数的情况下，实现了与当前最先进技术相当的精度。此外，它在大规模自然语言任务上表现出良好的泛化能力，在WikiText2数据集上展示了在不同序列长度下的稳定困惑度。我们还对整个eMamba流水线进行了量化，并使用GlobalFoundries（GF）22 nm工艺在AMD ZCU102 FPGA和ASIC上实现。实验结果显示，相较于基线方案，eMamba实现了4.95-5.62倍的更低延迟、2.22-9.95倍的更高吞吐量，同时面积缩小4.77倍、功耗降低9.84倍、能耗降低48.6倍，且保持了有竞争力的精度。
Keyword:
Mamba
HW acceleration
edge computing
approximation
quantization
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
2.6
论文数:
238
被引数:
2.3K
机构
引用论文
分享收藏Long short-term memory recurrent neural network architectures for large scale acoustic modeling
PREAI
分享收藏Escher: A CNN Accelerator with Flexible Buffering to Minimize Off-Chip Transfer.png)
2017 IEEE 25th Annual International Symposium on Field-Programmable Custom Computing Machines (FCCM)
2017 IEEE 25th Annual International Symposium on Field-Programmable Custom Computing Machines (FCCM)IF0
PREAI
分享收藏
查看更多内容