.png){kind=icon}
返回
Simultaneous Tactile-Visual Perception for Learning Multimodal Robot Manipulation
.png){kind=icon}
PRE
AI
DOI：10.1109/LRA.2026.3671701.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
机器人操作需要丰富的多模态感知和有效的学习框架来处理复杂的现实任务。See-Through-Skin（STS）传感器结合了触觉和视觉感知，提供了有前景的传感能力，而现代模仿学习为策略获取提供了强大的工具。然而，现有的STS设计缺乏同时的多模态感知，并且存在不可靠的触觉跟踪问题。此外，将这些丰富的多模态信号集成到基于学习的操作流程中仍然是一个开放挑战。我们介绍了TacThru，一种STS传感器，能够实现同时的视觉感知和鲁棒的触觉信号提取，以及TacThru-UMI，一个利用这些多模态信号进行操作的模仿学习框架。我们的传感器具有全透明弹性体、持续照明、新颖的关键线标记和高效跟踪的特点，而我们的学习系统通过基于Transformer的扩散策略集成这些信号。在五个具有挑战性的现实任务上的实验表明，TacThru-UMI的平均成功率达到了85.5%，显著优于触觉策略的基线（66.3%）和仅视觉策略的基线（55.4%）。该系统在关键场景中表现出色，包括对薄而软物体的接触检测以及需要多模态协调的精密操作。这项工作表明，结合同时的多模态感知与现代学习框架能够实现更精确、适应性更强的机器人操作。
Keyword:
Force and tactile sensing
deep learning in grasping and manipulation
robotic manipulation
proximity sensing
期刊
I
IF:
5.3
论文数:
1.9K
被引数:
3.9W
机构
引用论文
MiniTac: An Ultra-Compact $\text{8 mm}$ Vision-Based Tactile Sensor for Enhanced Palpation in Robot-Assisted Minimally Invasive SurgeryMiniTac：一种超紧凑型$\text{8 mm}$基于视觉的触觉传感器，用于增强机器人辅助微创手术中的触诊
PREAI
分享收藏All-printed soft human-machine interface for robotic physicochemical sensing用于机器人物理化学传感的全打印软人机界面.png)
SCIENCE ROBOTICS
OAAI
SCIENCE ROBOTICSIF27.5
OAAI分享收藏Vision-Based Proximity and Tactile Sensing for Robot Arms: Design, Perception, and Control基于视觉的近距离和触觉传感机器人手臂：设计、感知与控制OAAI
OAAI分享收藏Toward Fingertip Non-Contact Material Recognition and Near-Distance Ranging for Robotic Grasping
PREAI
分享收藏Proximity Perception in Human-Centered Robotics: A Survey on Sensing Systems and Applications以人为中心的机器人技术中的接近感知: 关于传感系统和应用的调查OAAI
OAAI分享收藏
查看更多内容