DeAOff: Dependence-aware offloading of decoder-based generative models for edge computing

Ning Jiahong

doi:10.23919/JCC.fa.2024-0691.202507

DeAOff: Dependence-aware offloading of decoder-based generative models for edge computing

2025-07-01

0

PRE

AI

DOI：10.23919/JCC.fa.2024-0691.202507

原文链接

原文求助

摘要

En 中文

本文提出了一种名为依赖感知卸载框架（DeAOff）的算法，该算法旨在优化移动边缘计算（MEC）环境中生成式人工智能解码器模型（Gen-AI decoder models）的部署。这些模型（如解码器）由于层间依赖性和高计算需求，特别是在边缘资源受限的情况下，带来了显著挑战。为应对这些挑战，我们提出了一种两阶段优化算法，首先处理依赖感知的任务分配，随后优化能耗。通过使用有向无环图（DAGs）对推理过程进行建模并应用约束松弛技术，我们的方法有效降低了执行延迟和能耗。实验结果表明，相较于传统方法，我们的方法将任务完成时间最多减少了20%，能耗节省了约30%。这些成果凸显了我们的解决方案在管理复杂顺序依赖和动态MEC条件方面的鲁棒性，提升了服务质量。因此，本研究提出了一种针对资源受限MEC场景下模型部署的实用且高效的资源优化策略。

Keyword:

dependency-aware offloading (DeAOff)

directed acyclic graph (DAG)

generative AI (Gen-AI)

mobile edge computing (MEC)

DeAOff: Dependence-aware offloading of decoder-based generative models for edge computing

摘要

期刊

机构

引用论文