Large-Scale Multirobot Task Planning Using Efficient Hierarchical Reinforcement Learning

Xuan Zhou

doi:10.1109/TRO.2026.3686265

Large-Scale Multirobot Task Planning Using Efficient Hierarchical Reinforcement Learning

2026-04-21

0

PRE

AI

DOI：10.1109/TRO.2026.3686265

原文链接

原文求助

摘要

En 中文

大规模机器人移动拣选系统中的多机器人任务规划（MRTP）仍因维度灾难和复杂动态特性而面临挑战。为解决这些挑战，我们构建了一个端到端的可扩展多机器人任务规划器，通过学习分层规划策略以扩展至大规模系统。在该规划器中，我们设计了一个集中式分层时序任务规划框架，以缓解维度灾难并确保及时动态响应。遵循此框架，我们提出了一种新颖的循环约束异步时序图，为系统动态建模提供基础。基于图表示，我们将MRTP问题表述为一个半马尔可夫决策过程（SMDP），仅关注关键交互点以提高计算和采样效率。SMDP中的策略通过带有时间嵌入层的分层时序注意力网络进行参数化，以增强时空特征提取。此外，该网络中的解码器掩码自然确保生成的动作严格满足所需的动态硬约束。上述分层策略通过高效的分层REINFORCE与展开反事实基线方法联合优化。为进一步增强对未学习实例的泛化性能并防止灾难性遗忘，我们通过区域扩展课程进行了扩展。实验表明，我们的规划器在模拟和真实世界的RMFS中的不同MRTP实例上优于当前最佳方法，成功扩展至最多200个机器人、1000个检索货架的未学习地图实例，同时保持性能优势。

Keyword:

Hierarchical reinforcement learning (HRL)

large-scale multirobot task planning

warehousing systems

Large-Scale Multirobot Task Planning Using Efficient Hierarchical Reinforcement Learning

摘要

期刊

机构

引用论文