Anticipating interactions: a predictive diffusion framework for evolving bimanual manipulation

XL Xukun Liu

doi:10.3389/fnbot.2026.1927097

Anticipating interactions: a predictive diffusion framework for evolving bimanual manipulation

2026-10-07

0

OA

AI

DOI：10.3389/fnbot.2026.1927097

原文链接

原文求助

摘要

En 中文

双臂机器人操作在具身人工智能中仍是一个重大挑战，因为它需要长任务时间范围内的同步运动规划、手臂间碰撞避免和动态角色分配。尽管现有的基于扩散的策略和可操作学习（affordance learning）方法已展现出相当的能力，但它们大多将环境视为静态，未能建模交互关系和协调模式如何随时间演变。方法：本文引入了预测可操作性与协调演化扩散策略（Predictive Affordance and Coordination Evolution Diffusion Policy, PACE-DP），这是一个统一的框架，能够显式预测未来场景动态并建模操作可操作性和双臂协调的时序进展。PACE-DP整合了三个预测组件：（1）预测场景模块，用于预测潜在的未来以物体为中心的表示；（2）可操作性与协调演化模块，用于构建时序演变的交互图，并采用图Transformer预测未来的关系类型、抓取成功率、协调模式和空间对齐目标；（3）条件扩散策略，用于在融合当前和预测特征的基础上生成平滑协调的动作序列。结果：我们在RoboTwin 2.0平台上对PACE-DP进行了评估，涵盖了10种多样的双臂任务，包括传递、放置、堆叠和开关操作。实验结果表明，与基线方法相比，PACE-DP表现更优，在协调密集型任务中实现了更高的成功率，且仅产生微小的计算开销。讨论：这些发现表明，显式预测未来的可操作性和协调演化为双臂操作提供了有效的归纳偏置，能够在不显著增加计算成本的情况下实现更可靠的协调。PACE-DP因此为面向长时域双臂任务的预测性、时序感知策略提供了一项有前景的进展。

Keyword:

bimanual manipulation,diffusion policy,affordance learning,Graph Transformer,predictive scene modeling

Anticipating interactions: a predictive diffusion framework for evolving bimanual manipulation

摘要

期刊

机构

引用论文