.png){kind=icon}
返回
Sign Language Recognition Using Video, Skeleton Data and Deep Learning
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-09044-7_17.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
孤立手语识别（SLR）专注于从视频中分类单个手语，这一任务通常采用准确但计算密集型的基于视觉的模型。本研究探索了从RGB序列中提取的骨骼表示，这些表示以较低维度捕捉关键运动模式。我们提出了四种深度学习模型，结合卷积层与GRU或minGRU单元，将骨骼处理为1D向量或3D关节轨迹，并通过集成方法提高鲁棒性。结果表明，基于骨骼的模型在准确率上可与基于视频的方法相媲美，同时资源需求大幅降低。值得注意的是，Conv1D+GRU集成达到88.32%的Top-1准确率，几乎匹配ResNet2D+1的88.90%，并将训练时间从超过43小时缩短至约1小时，测试集推理时间从数百秒降至不到1秒。集成方法在所有架构中均能持续提升性能。这些发现表明，基于骨骼的建模保留了判别信息，为SLR提供了快速高效的解决方案。
Keyword:
sign language recognition
deep learning
recurrent neural networks
skeleton data
期刊
A
IF:
0
论文数:
32
被引数:
0
机构
引用论文
Multi-Stream General and Graph-Based Deep Neural Networks for Skeleton-Based Sign Language Recognition多流通用与图基础的深度神经网络用于骨骼基础的 signer 语言识别.png)
Electronics
OAAI
ElectronicsIF0
OAAI分享收藏Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation使用RNN编码器-解码器学习统计机器翻译的短语表示OAAI
OAAI分享收藏分享收藏Deepsign: Sign Language Detection and Recognition Using Deep LearningDeepsign: 使用深度学习进行手语检测和识别ElectronicsOAAI
ElectronicsIF0
OAAI分享收藏Evaluating the Immediate Applicability of Pose Estimation for Sign Language Recognition评估姿态估计在手势语言识别中的即时适用性OAAI
OAAI分享收藏
Gradient-based learning applied to document recognition基于梯度的学习在文档识别中的应用PROCEEDINGS OF THE IEEE
PROCEEDINGS OF THE IEEEIF25.9
PREAI
分享收藏
查看更多内容