.png){kind=icon}
返回
RAMS: Runtime Adaptive Memory Scaling for Tiny Deep Learning on IoT Devices
.png){kind=icon}
PRE
AI
DOI：10.1109/TMC.2026.3651722.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在物联网（IoT）设备上部署微型深度学习（TinyDL）正日益普及。为适应有限的内存，近期方法将张量细分为精细粒度的部分并进行离线内存规划以最小化内存占用。然而，这些方法无法适应动态内存，错失了利用临时可用内存以加速推理的机会。此外，现有方法仅关注最小化内存大小而忽略了缓存使用特性，导致频繁的缓存未命中和延迟增加。本文提出RAMS，一个支持运行时自适应内存缩放的高效框架，以充分利用动态内存。我们设计了一种可控制大小的张量生成方法，从而实现运行时内存缩放。我们还提出了一种缓存友好的内存管理方法，以最小化缓存未命中次数。RAMS包含一个离线规划器用于最小化推理所需的内存占用，以及一个在线管理器用于根据可用内存确定内存大小并为可控制大小的张量生成布局。RAMS在保持紧凑内存占用的同时显著降低了推理延迟。在运行RTOS和Android系统的商用设备上的广泛实验表明，与最先进的方法相比，RAMS在保持相似内存占用的前提下，相比TFLM和TinyTS分别将延迟有效降低了1.57倍和1.48倍，同时将功耗降低了67.74%和15.97%。
Keyword:
TinyDL
inference acceleration
memory adaptation
runtime scheduling
期刊
IF:
9.2
论文数:
5.9K
被引数:
1.8W
机构
引用论文
分享收藏CoDL.png)
Proceedings of the 20th Annual International Conference on Mobile Systems, Applications and Services
Proceedings of the 20th Annual International Conference on Mobile Systems, Applications and ServicesIF0
PREAI
分享收藏
分享收藏
Model Compression and Acceleration for Deep Neural Networks The principles, progress, and challenges
PREAI
分享收藏
查看更多内容