.png){kind=icon}
返回
Research on Deep Learning-Based Human–Robot Static/Dynamic Gesture-Driven Control Framework
.png){kind=icon}
OA
AI
DOI：10.3390/s25237203.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
对于人机手势驱动控制，本文提出了一种基于深度学习的方法，该方法同时利用静态和动态手势来驱动和控制机器人执行抓取和递送任务。该方法采用二维卷积神经网络（2D-CNNs）进行静态手势识别，并采用结合三维卷积神经网络（3D-CNNs）和长短期记忆网络（3D-CNN+LSTM）的混合架构进行动态手势识别。在自定义手势数据集上的结果验证了静态手势的准确率为95.38%，动态手势的准确率为93.18%。随后，为了控制并驱动机器人执行相应任务，进行了手部姿态估计。首先采用MediaPipe机器学习框架提取手部特征点。这些二维特征点随后通过基于深度相机的姿态估计方法转换为三维坐标，接着进行坐标系变换以获取相对于机器人基坐标系的 hand poses。最终，建立了一个人机手势驱动交互的实验平台，部署了上述两种手势识别模型。邀请四位参与者分别在自然光、弱光和强光三种光照条件下，各执行100次手势驱动的抓取和递送任务。实验结果表明，通过静态和动态手势完成任务的平均成功率分别不低于96.88%和94.63%，且任务完成时间均保持在20秒以内。这些发现表明，所提出的方法能够通过自然手部手势实现稳健的基于视觉的机器人控制，展现出在人类-机器人协作应用中的广阔前景。
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
3.5
论文数:
7.2W
被引数:
20.9W
机构
引用论文
Improving static gesture recognition with capacitive sensor arrays by incorporating distance measurements通过整合距离测量来改进基于电容传感器的静态手势识别.png)
Measurement
MeasurementIF5.6
PREAI
分享收藏Rotation-invariant 3D convolutional neural networks for 6D object pose estimationChen, Z.; Wang, Z.; Xing, X.H.; Kuai, T. 用于6D物体位姿估计的旋转不变3D卷积神经网络. Int. J. Comput. Sci. Eng. 2025, 28, 1–9. [Google Scholar] [CrossRef]
PREAI
分享收藏A Systematic Error Compensation Strategy Based on an Optimized Recurrent Neural Network for Collaborative Robot Dynamics基于优化循环神经网络的合作机器人动力学系统误差补偿策略OAAI
OAAI分享收藏Gesture Recognition Achieved by Utilizing LoRa Signals and Deep Learning利用LoRa信号和深度学习实现手势识别SENSORSOAAI
SENSORSIF3.5
OAAI分享收藏Lightweight and High Accurate RR Interval Compensation for Signals From Wearable ECG Sensors轻量级和高精度的可穿戴ECG传感器信号RR间期补偿
OAAI
OAAI分享收藏
查看更多内容