A Depth-Based Lightweight 3-D Dynamic Hand Gesture Recognition Framework

doi:10.1109/tcds.2025.3617793

A Depth-Based Lightweight 3-D Dynamic Hand Gesture Recognition Framework

2025-10-08

0

PRE

AI

DOI：10.1109/tcds.2025.3617793

原文链接

原文求助

摘要

En 中文

手势识别是人机交互（HRI）领域的关键技术。本文提出了一种基于深度的轻量级动态手势识别框架用于HRI，该框架包括基于生物几何约束（BCPoseNet）的3-D手部姿态估计网络和基于多流残差注意力（MRAGesNet）的动态手势识别网络。BCPoseNet利用其轻量级多流层次结构分别提取和细化手掌和五指的骨骼。同时，设计了一套生物几何损失函数以进一步约束骨骼的相对位置。MRAGesNet构建了一个轻量级1-D卷积神经网络（ConvNet）基准模型，在此基础上引入自适应跨通道残差（ACR）块和多通道注意力机制（MAM）以探索手势语义的关联机制，并进一步提升识别性能。设计了一个特征计算组件，通过四种函数的转换实现框架的无缝集成。所提出的方法在准确率和速度方面达到了最佳性能，并在四个公开数据集和一个自定义数据集上进行了广泛评估。此外，在手臂机器人平台上的手势模仿实验证明了所提出框架在HRI中的应用性能。

Keyword:

Framework

hand gesture recognition

human–robot interaction (HRI)

lightweight structure

A Depth-Based Lightweight 3-D Dynamic Hand Gesture Recognition Framework

摘要

期刊

机构

引用论文