.png){kind=icon}
返回
Evaluating and accelerating vision transformers on GPU-based embedded edge AI systems
.png){kind=icon}
OA
AI
DOI：10.1007/s11227-024-06807-1.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
许多当前的嵌入式系统包含异构计算组件，包括功能强大的GPU，这使其能够在不同领域得到应用。本研究展示了在低功耗片上系统（SoC）上高效执行中等规模的自监督音频频谱图转换器（SSAST）模型。通过综合评估，包括实时推理场景，我们证明GPU在推理过程中优于多核CPU。优化技术，如调整批次大小、使用TensorRT进行模型编译以及降低数据精度，显著提升了推理时间、能耗和内存使用效率。具体而言，观察到精度几乎无下降，训练后量化到8位整数显示损失低于1%。本研究强调了在低功耗嵌入式设备上部署转换器神经网络的可能性，确保在时间、能耗和内存方面的高效性，同时保持结果的准确性。
Keyword:
Vision transformer
GPU
Low-power system-on-chip
期刊
IF:
2.7
论文数:
1.1K
被引数:
1.0W
机构
暂无机构信息
引用论文
.png){kind=icon}
查看更多内容