.png){kind=icon}
返回
BEEMS: Boosting Machine Vision Efficiency via Computation Graph-Based Memory Smoothing
.png){kind=icon}
PRE
AI
DOI：10.1145/3774934.3786430.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
随着基于深度学习的计算机视觉（CV）技术的快速发展，数字图像的处理日益由人类转向下游CV算法。特别是，视觉基础模型的日益普及，提高了将这些模型部署在边缘设备上的兴趣。然而，有限的内存仍然是一个关键瓶颈，使得内存占用减少至关重要。主流的模型定制方法通常需要密集的部署工作，并且可能严重降低精度。此外，现有的深度学习框架通常不优先考虑内存优化。现有的内存管理方案面临实际限制，包括层间内存不平衡、高管理开销和易变的内存预算。为解决这些问题，本研究专注于显式设计为内存感知的编译级优化。我们观察到，视觉基础模型推理期间的内存使用量随时间显著变化（高达10倍差异），并且存在较长时间的内存需求低谷。基于此，我们提出了BEEMS，一种双目标编译器，通过平滑计算图中的内存使用来优化内存和延迟。BEEMS分析视觉基础模型的计算图，以识别内存需求的高峰和低谷算子。然后，它构建一个高效的优化搜索空间，提供一个灵活的接口，根据算子特性应用不同策略。具体而言，高峰算子通过算子分区、核替换、交换和重新物化等技术来降低内存压力，而低谷算子应用子图替换来提高延迟。在六个不同模型上的实验表明，BEEMS可将峰值内存最多减少90%，并将延迟提高10%，展示了其在联合优化内存和性能方面的有效性。
Keyword:
AI compilation
deep learning systems
memory optimization
期刊
机构
引用论文
.png){kind=icon}
G10: Enabling An Efficient Unified GPU Memory and Storage Architecture with Smart Tensor MigrationsG10: 通过智能张量迁移实现高效的统一GPU内存与存储架构
OAAI
OAAI分享收藏
查看更多内容