返回
Compositional Motion Generation From Demonstration With Object-Centric Neural Fields
DOI:10.1109/lra.2026.3713713.png)
摘要
En 中文
通过将复杂行为组织为简单元素的组合,组合性(compositionality)实现了可扩展且数据高效(data efficient)的机器人学习。基于此原理,我们提出了一种生成式学习-from-demonstration框架,通过连接感知与运动之间的共享对象级表示,实现了机器人行为的组合性建模。我们利用以对象为中心的神经表示渲染场景,这些表示整合了标准神经场(canonical neural fields)和基于隐变量的变形(latent-conditioned deformations),以平滑、一致且可解释的方式捕捉位置和几何变化。对于运动生成,时序专家混合(temporal mixture-of-experts, MoE)采用门控机制(gating mechanism)在时间上组合对象条件下的运动基元(movement primitives),从而生成完整轨迹。这种时空组合性(spatial–temporal compositionality)在保持运动基元数据效率的同时,将运动锚定于视觉结构,实现了跨多样化场景配置的系统泛化。在模拟中,所提出的模型成功完成了长时域(long-horizon)操作任务,其训练数据需求显著少于其他基于图像的基线方法。真实世界实验进一步验证了该方法对噪声的鲁棒性、通过语言分割模型(language-based segmentation models)实现类别级泛化的能力,以及直接在3D场景表示上运行的能力。
Keyword:
Learning from demonstration
deep learning in grasping and manipulation
期刊
I
IF:
5.3
论文数:
1.9K
被引数:
3.9W
机构
引用论文
Conditional Neural Expert Processes for Learning Movement Primitives From Demonstration条件神经网络专家过程:从演示中学习运动基元
DeepSDF: Learning Continuous Signed Distance Functions for Shape RepresentationDeepSDF: 学习用于形状表示的连续符号距离函数

