arrow
返回

DNN Inference Acceleration Based on Adaptive Task Partitioning and Offloading in Embedded VEC

delete2025-06-05
delete0
PRE
AI
C
Chunlin Li
S
Sen Liu
K
Kun Jiang
M
Mengjie Yang
Z
Zihao Zhang
B
Bingxin Wang
L
Liang Zhao
陈琛 封面图
陈琛 (Chen Chen)
万少华 封面图
万少华 (Shaohua Wan)
DOI:10.1145/3725734delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
作为分布式嵌入式系统,车载边缘计算(VEC)通过网络协作与通信完成各种复杂的深度神经网络(DNN)任务。然而,由于车载处理器的计算能力有限,车辆无法处理日益复杂的DNN任务。为准确估计不同DNN模型在异构设备上各层的执行延迟,我们提出了极端梯度提升树(XGBoost)算法来预测DNN任务推理延迟。此外,我们针对链式DNN任务和有向无环图(DAG)型DNN任务分别提出了划分与卸载算法,以应对其独特的计算特性。对于链式DNN任务,我们采用线性搜索,基于DNN延迟预测模型的预测结果确定最优划分点。对于DAG型DNN任务的划分与卸载,我们在网络流图下将其构建为最小割问题,并提出了一种基于最高标签预流推进(HLPP)算法的DNN任务划分与卸载算法,以有效降低任务划分与卸载的成本。最后,我们使用搭载Raspberry的实验车辆和搭载Jetson Nano的路侧单元(RSU)来验证结果。实验表明,我们提出的基于XGBoost的DNN延迟预测模型能够有效提高DNN分层执行延迟的预测精度。同时,针对不同类型DNN推理任务的划分与卸载算法可实现更高的任务完成率、更低的延迟以及更低的能耗。
Keyword:
Vehicular edge computing
Deep neural network
Latency prediction
Task partitioning
Offloading algorithm

期刊

ACM Transactions on Embedded Computing Systems 封面图
ACM Transactions on Embedded Computing Systems
IF:
2.6
论文数:
238
被引数:
2.3K

机构

暂无机构信息
引用论文

引用论文

FastDeepIoT
err2018-11-04
err0
errOAAI
errShuochao Yao; Yiran Zhao; Huajie Shao; ShengZhong Liu; Dongxin Liu; Lu Su; Tarek Abdelzaher
err分享
err收藏
err分享
err收藏
err分享
err收藏
Neurosurgeon
err2017-04-04
err0
errOAAI
errYiping Kang; Johann Hauswald; Cao Gao; Austin Rovinski; Trevor Mudge; Jason Mars; Lingjia Tang
err分享
err收藏
err分享
err收藏
学者 查看更多内容