返回
Collaborative Task Offloading in Space Computing Power Network: A World Model-Based Multi-Agent Reinforcement Learning Approach
DOI:10.1109/tccn.2026.3717925.png)
摘要
En 中文
低地球轨道(LEO)星座需要处理来自地面网络日益增长的海量异构任务。间歇性的星间链路、异构的星上资源以及时变的流量负载使得协作任务卸载对静态或反应式策略而言十分困难。尽管多智能体强化学习(MARL)提供了自适应解决方案,但现有的无模型MARL方法在动态卫星环境中常常面临收敛缓慢、预见性不足和鲁棒性有限等问题。为解决这些挑战,本文提出了一种基于世界模型的空域计算网络多智能体近端策略优化(WM-MAPPO)框架。卸载问题被表述为一个部分可观察的多智能体决策过程,其中LEO卫星在不完整的局部观测下进行分散决策。预测世界模型学习网络状态的潜在转换动态,并为前瞻性规划提供未来上下文。同时,基于Transformer的策略架构捕获智能体间的依赖关系,并支持在集中式训练与分散式执行(CTDE)模式下的协同调度。仿真结果表明,与无模型MARL基线、启发式方法、李雅普诺夫调度以及受MINLP启发的优化方法相比,WM-MAPPO实现了更高的任务完成率、更低的平均时延、改进的能量效率以及更强的鲁棒性。
Keyword:
Space computing power network
task offloading
multi-agent reinforcement learning (MARL)
world model
proximal policy optimization (PPO)
期刊
I
IF:
7
论文数:
1.6K
被引数:
5.5K
机构
引用论文
Multi-Layer Reinforcement Learning Assisted Task Offloading in Satellite Edge Computing多层数据强化学习辅助的任务卸载在卫星边缘计算中
Divide and Conquer: Advancing Large-Scale Multi-Agent Pathfinding With Hierarchical Reinforcement Learning分治法:基于分层强化学习推进大规模多智能体路径规划
AirFogSim: A Light-Weight and Modular Simulator for UAV-Integrated Vehicular Fog ComputingAirFogSim:一种轻量级且模块化的无人机集成车辆雾计算仿真器
Multi-Agent Deep Reinforcement Learning for Task Offloading in LEO Satellite Networks低轨卫星网络中任务卸载的多智能体深度强化学习

