.png){kind=icon}
返回
Lossless graph transformations for memory-efficient on-device machine learning
.png){kind=icon}
OA
AI
DOI：10.1016/j.sysarc.2026.104000.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
高效的内存管理是设备端机器学习的核心要求，其中有限的内存容量往往成为关键瓶颈。虽然现有的模型压缩技术能够成功减小模型尺寸，但它们本质上会带来信息损失并导致精度下降。本文提出了一般性的无损图变换方法，在不牺牲精度的前提下提升内存效率。我们首先识别并定义了三种常见的计算图结构模式，这些模式通常会导致峰值内存消耗过高。基于这些模式，我们设计了无损图优化方法，能够系统地消除这些模式。我们将提出的图变换方法在ONNX-MLIR编译器框架上实现，并在代表性的设备端机器学习模型中展示了峰值内存使用量最高减少67.9%的效果。
Keyword:
On-device machine learning
Computational graph transformation
Memory optimization
Multi-level intermediate representation
