.png){kind=icon}
返回
Optimizing DNN Inference on Multi-accelerator SoCs at Training-Time
.png){kind=icon}
PRE
AI
DOI：10.1109/TCAD.2025.3543715.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在边缘端以低延迟和低功耗执行深度神经网络（DNNs）的需求，推动了集成多个专用计算单元（CUs）如加速器的先进异构片上系统（SoCs）的发展。将DNN计算卸载到可用CU集合中的特定CU时，往往因支持的运算（如标准卷积与深度卷积）或数据表示（如更激进的量化）的差异，暴露出精度与效率的权衡关系。一个具有挑战性且尚未解决的问题是如何将DNN映射到这些多CU系统上，以最大化利用并行化可能性同时兼顾精度。为解决此问题，我们提出了ODiMO，一种硬件感知工具，可在训练阶段高效探索DNN在各片上CU之间的细粒度映射。ODiMO战略性地分割神经网络的各个层，并在多个可用CU上并行执行，旨在平衡总推理能耗或延迟与受不同硬件单元独特特性影响的最终精度。我们在CIFAR-10、CIFAR-100和ImageNet上测试了我们的方法，目标为两个开源异构SoCs，即DIANA和Darkside。我们在精度与能耗或延迟空间中获得了一组丰富的帕累托最优网络。我们证明，与手动启发式映射相比，ODiMO在Darkside SoC上将DNN的延迟最多降低了8倍（等精度条件下）。当以能耗为目标时，在同一SoC上，ODiMO实现了最高50.8倍的更高效映射，同时精度下降极小（<0.3%）。
Keyword:
Deep neural network (DNN) mapping
deep learning
edge computing
heterogeneous hardware
期刊
I
IF:
2.9
论文数:
671
被引数:
9.6K
机构
引用论文
Targeting DNN Inference Via Efficient Utilization of Heterogeneous Precision DNN Accelerators通过高效利用异构精度DNN加速器来定位DNN推理
OAAI
OAAI分享收藏Edge Intelligence: Paving the Last Mile of Artificial Intelligence With Edge Computing边缘智能: 用边缘计算铺平人工智能的最后一英里.png)
PROCEEDINGS OF THE IEEE
OAAI
PROCEEDINGS OF THE IEEEIF25.9
OAAI分享收藏PLiNIO: A User-Friendly Library of Gradient-Based Methods for Complexity-Aware DNN OptimizationPLiNIO: 一个面向复杂度感知DNN优化的基于梯度的方法用户友好型库OAAI
OAAI分享收藏Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge轻量级神经架构在边缘的时间卷积网络搜索OAAI
OAAI分享收藏
查看更多内容