返回
DNN Inference Acceleration Based on Adaptive Task Partitioning and Offloading in Embedded VEC
DOI:10.1145/3725734.png)
摘要
En 中文
作为分布式嵌入式系统,车载边缘计算(VEC)通过网络协作与通信完成各种复杂的深度神经网络(DNN)任务。然而,由于车载处理器的计算能力有限,车辆无法处理日益复杂的DNN任务。为准确估计不同DNN模型在异构设备上各层的执行延迟,我们提出了极端梯度提升树(XGBoost)算法来预测DNN任务推理延迟。此外,我们针对链式DNN任务和有向无环图(DAG)型DNN任务分别提出了划分与卸载算法,以应对其独特的计算特性。对于链式DNN任务,我们采用线性搜索,基于DNN延迟预测模型的预测结果确定最优划分点。对于DAG型DNN任务的划分与卸载,我们在网络流图下将其构建为最小割问题,并提出了一种基于最高标签预流推进(HLPP)算法的DNN任务划分与卸载算法,以有效降低任务划分与卸载的成本。最后,我们使用搭载Raspberry的实验车辆和搭载Jetson Nano的路侧单元(RSU)来验证结果。实验表明,我们提出的基于XGBoost的DNN延迟预测模型能够有效提高DNN分层执行延迟的预测精度。同时,针对不同类型DNN推理任务的划分与卸载算法可实现更高的任务完成率、更低的延迟以及更低的能耗。
Keyword:
Vehicular edge computing
Deep neural network
Latency prediction
Task partitioning
Offloading algorithm
期刊
IF:
2.6
论文数:
238
被引数:
2.3K
机构
暂无机构信息
引用论文
A Computation Offloading Method for Multi-UAVs Assisted MEC Based on Improved Federated DDPG Algorithm基于改进联邦DDPG算法的多无人机辅助MEC计算分流方法
Stackelberg Game-Based Task Offloading for Joint Service Caching and Resource Allocation Optimization in UAV-Assisted VEC无人机辅助VEC中基于Stackelberg博弈的联合服务缓存和资源分配优化任务卸载
An adaptive DNN inference acceleration framework with end-edge-cloud collaborative computing一种基于端边云协同计算的自适应DNN推理加速框架

