Transformer-based word level Bangla sign language recognition using relative quantization encoding

doi:10.1038/s41598-026-53835-3

Transformer-based word level Bangla sign language recognition using relative quantization encoding

2026-06-03

0

OA

AI

DOI：10.1038/s41598-026-53835-3

原文链接

查看原文

摘要

En 中文

手语识别（SLR）对于孟加拉语等低资源语言受限于表演者变异性、视角变化和有限的标注数据集。本文提出BdSLW401，一个大规模、多视角、词级的孟加拉手语（BdSL）数据集，包含401个手势和102,176个视频样本，由18名表演者在正面和侧面视角采集。为改进基于Transformer的SLR，我们引入相对量化编码（RQE），一种结构化嵌入方法，将关键点锚定到生理参考点并对运动轨迹进行量化。RQE通过降低空间变异性改善注意力分配，在WLASL100上使WER降低44.3%，在SignBD-200上降低21.0%，并在BdSLW60和SignBD-90上取得显著提升。然而，固定量化在大规模数据集（如WLASL2000）上变得不足，表明需要自适应编码策略。此外，RQE-SF扩展变体通过稳定肩部关键点提高姿态一致性，但以侧面视角识别的小幅权衡为代价。注意力图证明RQE通过聚焦主要发音特征（手指、手腕）和更独特的帧而非全局姿态变化来提高模型可解释性。引入BdSLW401并展示RQE增强结构化嵌入的有效性，本研究推进了低资源语言的Transformer基手语识别，并为该领域未来研究设定基准。

Transformer-based word level Bangla sign language recognition using relative quantization encoding

摘要

AI总结

期刊

机构

引用论文