返回
Multiagent Collaborative Inference Optimization for Large-Scale DNNs in IoT Edge Systems
DOI:10.1109/JIOT.2026.3674519.png)
摘要
En 中文
在资源受限的物联网(IoT)设备上部署大型深度神经网络(DNNs)通常受限于高推理延迟和能耗。本文研究了用户设备与边缘服务器(ESs)之间的协同推理,其中深度神经网络(DNN)被分割并在共享无线资源的双方执行。我们联合优化跨层的分割点、上行链路信道分配和传输功率控制,并将耦合决策表述为马尔可夫决策过程(MDP)。在集中式训练与分布式执行(CTDE)下,我们开发了一个具有多头评论家和感知剖面状态设计的多智能体近端策略优化(MAPPO)框架,以在大混合动作空间下稳定学习。为验证实用性,我们实现了一个容器化实验平台,模拟资源受限的IoT设备和配备GPU的ESs,实现端到端延迟和能耗的可重复测量。对代表性DNN的实验表明,所提出的方法在多种模型结构和计算模式下持续改善延迟-能耗权衡,实现更低的端到端延迟和相当或更低的能耗。
Keyword:
Collaborative inference
edge computing
large-scale models
multiagent
proximal policy optimization
期刊
IF:
8.9
论文数:
1.4W
被引数:
7.8W
机构
引用论文
Ace-Sniper: Cloud–Edge Collaborative Scheduling Framework With DNN Inference Latency Modeling on Heterogeneous DevicesAce-Sniper:基于异构设备DNN推理延迟建模的云-边协同调度框架
An O-MAPPO scheme for joint computation offloading and resources allocation in UAV assisted MEC systems一种用于UAV辅助MEC系统中联合计算卸载和资源分配的O-MAPPO方案
A comprehensive and systematic literature review on intrusion detection systems in the internet of medical things: current status, challenges, and opportunities医疗物联网中入侵检测系统的全面系统文献综述:当前状态、挑战与机遇

