.png){kind=icon}
返回
Optimizing Multi-DNN Inference on Mobile Devices Through Heterogeneous Processor Co-Execution
.png){kind=icon}
PRE
AI
DOI：10.1109/TMC.2025.3647031.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
深度神经网络（DNNs）在各行各业中的应用日益广泛，推动了对在移动设备上部署其功能的需求。然而，当前移动推理框架通常依赖单个处理器执行每个模型推理，限制了硬件利用率，导致性能和能效不理想。在移动平台上扩展DNN的可及性需要更自适应和资源高效的解决方案，以满足日益增长的计算需求，同时不损害设备功能。然而，在异构处理器上执行多个DNN的并行推理仍然是一个重大挑战。现有研究探讨了将DNN操作划分为子图以实现在异构处理器上的并行执行。然而，这些方法通常仅基于硬件兼容性生成过多的子图，增加了调度复杂性和内存管理开销。为解决这些限制，我们提出了高级多DNN模型调度（ADMS）策略，用于优化移动设备上异构处理器间的多DNN推理。ADMS构建了一个离线子图划分策略，同时考虑了硬件对操作的支持和调度粒度。它还采用了一种处理器状态感知调度算法，根据实时系统条件动态平衡工作负载。这确保了高效的工作负载分配，并最大化可用处理器的利用率。实验结果表明，与原始推理框架相比，ADMS将多DNN推理延迟降低了4.04倍。
Keyword:
Deep Neural Networks
mobile devices
heterogeneous processors
co-execution
multi-DNN inference
期刊
IF:
9.2
论文数:
5.9K
被引数:
1.8W
机构
引用论文
分享收藏
CoDL.png)
Proceedings of the 20th Annual International Conference on Mobile Systems, Applications and Services
Proceedings of the 20th Annual International Conference on Mobile Systems, Applications and ServicesIF0
PREAI
分享收藏
分享收藏Continuous, Real-Time Object Detection on Mobile Devices without Offloading在移动设备上进行连续、实时的对象检测，无需卸载
PREAI
分享收藏Markov Blanket Composition of SLOsSedlak, B., Pujol, V.C., Donta, P.K., Dustdar, S., 2024b. SLO的马尔可夫毯组合，发表于：IEEE边缘计算与通信国际会议（EDGE），IEEE。第128-138页。
PREAI
分享收藏
查看更多内容