.png){kind=icon}
返回
Language-driven closed-loop grasping with model-predictive trajectory optimization
.png){kind=icon}
OA
AI
DOI：10.1016/j.mechatronics.2025.103335.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
将视觉模块集成到闭环控制系统中，以实现机器人在操作任务中的无缝移动具有挑战性，这源于各模块间不一致的更新率。在动态环境中（例如物体移动时），此项任务更为困难。本文提出了一种模块化零样本框架，通过闭环控制系统实现语言驱动的（动态）物体操作，该系统具备实时轨迹重规划和在线6D物体位姿定位功能。我们借助视觉语言模型并通过语言指令在0.5秒内完成物体分割。随后，在自然语言指令的引导下，利用包含统一位姿估计与跟踪以及在线轨迹规划的闭环系统，持续追踪该物体并实时计算最优轨迹。我们提出的零样本框架可提供平滑轨迹，避免抖动运动，并确保机器人能够抓取非静止物体。实验结果表明，所提出的零样本模块化框架具有实时能力，能够准确高效地抓取移动物体。该框架的在线6D位姿定位模块更新率最高可达30 Hz，而滚动时域轨迹优化更新率为10 Hz。这些优势突显了模块化框架在机器人和人机交互中的潜在应用；详见language-driven-grasping.github.io视频。
Keyword:
Language-driven object detection
Pose estimation
Grasping
Trajectory optimization
期刊
IF:
3.1
论文数:
2.9K
被引数:
5.7K
机构
引用论文
CasADi: a software framework for nonlinear optimization and optimal controlCasADi: 非线性优化和最优控制的软件框架
PREAI
分享收藏SSP-Pose: Symmetry-Aware Shape Prior Deformation for Direct Category-Level Object Pose EstimationOAAI
OAAI分享收藏Machine learning-based framework for optimally solving the analytical inverse kinematics for redundant manipulators.png)
MECHATRONICS
OAAI
MECHATRONICSIF3.1
OAAI分享收藏Model Predictive Trajectory Optimization With Dynamically Changing Waypoints for Serial Manipulators基于动态变化路点预测轨迹优化的串联机械臂OAAI
OAAI分享收藏AnyGrasp: Robust and Efficient Grasp Perception in Spatial and Temporal DomainsAnygrasand: 在空间和时间域中的鲁棒且高效的抓握感知OAAI
OAAI分享收藏
查看更多内容