ZSPose: Instance-Level Zero-Shot Object Pose Estimation With Segment Anything Model

Sheng Yu

doi:10.1109/TASE.2025.3618671

ZSPose: Instance-Level Zero-Shot Object Pose Estimation With Segment Anything Model

2025-01-01

0

PRE

AI

DOI：10.1109/TASE.2025.3618671

原文链接

原文求助

摘要

En 中文

估计新物体的位姿是一个具有挑战性的问题。尽管已开发出许多实例级物体位姿估计方法，但它们在面对新/不熟悉的物体时往往难以处理。在本文中，我们提出了一种针对新物体的零样本位姿估计方法，称为ZSPose。我们利用SAM的零样本特征在杂乱环境中分割物体，并获取每个物体的掩码。为了促进物体掩码与物体模型及类别的匹配，我们提出了一种新颖的物体匹配策略，将掩码与对应的物体模型对齐。随后，基于获取的物体掩码，我们生成物体点云。利用物体的RGB图像和点云，我们提出了一种基于特征权重的物体位姿估计方法，通过预测模型特征与点云特征之间的匹配权重，实现准确的位姿估计。我们在各种实例级物体位姿估计数据集上进行了性能测试，实验结果表明，我们提出的方法显著提高了物体位姿估计的精度。它表现出优异的泛化能力，适用于广泛新物体的位姿估计。最后，为验证ZSPose的实际适用性，我们将其应用于现实世界的物体位姿估计任务和机器人抓取任务。实验结果表明，ZSPose能够有效估计新物体的位姿，辅助机器人执行实际抓取任务，因而具有相当大的实际价值。实践者须知—实例级物体位姿估计是精确确定物体位姿的关键方法。当物体模型信息可用时，它能在各种场景中执行位姿估计任务，并且在杂乱和遮挡环境下表现良好。机器人依赖这种位姿估计来有效完成物体抓取任务。然而，大多数实例级物体位姿估计方法只能估计训练阶段遇到物体的位姿，无法纳入新物体，这一局限性给实际应用带来重大挑战。在实际工业环境中，机器人需要抓取的物体种类繁多，且常包含新物品。当前实例级物体位姿估计方法缺乏可扩展性是一个关键问题。为解决这一问题，我们提出了一种新颖的零样本物体位姿估计方法，称为ZSPose。该方法能有效估计训练数据集中未包含的新物体位姿，并能成功应用于机器人抓取任务。

Keyword:

Zero-shot

instance-level object pose estimation

segment anything model

ZSPose: Instance-Level Zero-Shot Object Pose Estimation With Segment Anything Model

摘要

期刊

机构

引用论文