arrow
返回

Multiagent Collaborative Inference Optimization for Large-Scale DNNs in IoT Edge Systems

delete2026-03-16
delete0
PRE
AI
J
Juan Fang
X
Xinghao Wang
Y
Yaqi Liu
H
Heng Liang Tang
X
Xiaolin Li
DOI:10.1109/JIOT.2026.3674519delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
在资源受限的物联网(IoT)设备上部署大型深度神经网络(DNNs)通常受限于高推理延迟和能耗。本文研究了用户设备与边缘服务器(ESs)之间的协同推理,其中深度神经网络(DNN)被分割并在共享无线资源的双方执行。我们联合优化跨层的分割点、上行链路信道分配和传输功率控制,并将耦合决策表述为马尔可夫决策过程(MDP)。在集中式训练与分布式执行(CTDE)下,我们开发了一个具有多头评论家和感知剖面状态设计的多智能体近端策略优化(MAPPO)框架,以在大混合动作空间下稳定学习。为验证实用性,我们实现了一个容器化实验平台,模拟资源受限的IoT设备和配备GPU的ESs,实现端到端延迟和能耗的可重复测量。对代表性DNN的实验表明,所提出的方法在多种模型结构和计算模式下持续改善延迟-能耗权衡,实现更低的端到端延迟和相当或更低的能耗。
Keyword:
Collaborative inference
edge computing
large-scale models
multiagent
proximal policy optimization

期刊

IEEE Internet of Things Journal 封面图
IEEE Internet of Things Journal
IF:
8.9
论文数:
1.4W
被引数:
7.8W

机构

B
beijing university of technology
学者数:
6.0K
论文数: 2.0K
被引数: 0
引用论文

引用论文

A novel offloading strategy for multi-user optimization in blockchain-enabled Mobile Edge Computing networks for improved Internet of Things performance
err2024-10-01
err7
PREAI
errRahmani, Amir Masoud; Tanveer, Jawad; Gharehchopogh, Farhad Soleimanian; Rajabi, Shakiba; Hosseinzadeh, Mehdi
err分享
err收藏
AMC: AutoML for Model Compression and Acceleration on Mobile Devices
err2018-10-06
err0
PREAI
errYihui He; Ji Lin; Zhijian Liu; Hanrui Wang; Li-Jia Li; Song Han
err分享
err收藏
err分享
err收藏
学者 查看更多内容