Semi-supervised learning for skeleton behavior recognition: A multi-dimensional graph comparison approach

doi:10.1016/j.jksuci.2024.102266

2024-12-01

DOI：10.1016/j.jksuci.2024.102266

原文链接

查看原文

摘要

En 中文

基于骨架的动作识别作为计算机视觉中的一个关键研究方向，面临着诸多问题和挑战。现有的大多数研究方法高度依赖大量标注数据进行训练，这显著限制了在标注数据匮乏时的训练效果和泛化能力。因此，如何整合标注与未标注数据以克服标注稀缺的限制，已成为基于骨架的动作识别领域的一项核心研究重点。针对这一标注稀缺问题，本文提出了一种基于多维度特征图对比学习的半监督骨架动作识别方法。首先，设计了三种特征提取器，以充分提取和利用有限数据中的有效信息。整体特征提取器包含五个时空图卷积块和一个全局平均池化层。详细特征提取器由堆叠的相同时空图卷积块构成，而关系特征提取器则主要整合了堆叠的注意力图卷积块和一个全局平均池化层。其次，强化了图对比学习中样本关系构建机制。通过聚类过程，基于样本相似性构建软正/负样本对，并利用样本连接矩阵进一步加权这些对之间的距离，从而提升分类精度。此外，基于信息瓶颈理论提出了一种新型损失函数，以引导模型学习更稳健高效的骨架动作表征。实验评估结果表明，所提出的方法（MDKS）在NTU60和NW-UCLA两个数据集上均表现出优越性。具体而言，在NTU60数据集上，MDKS相较于基准MAC-Learning方法，在X-sub和X-view评估协议下的分类准确率分别提升了4.7%和1.9%；在NW-UCLA数据集上，当标注数据比例从5%至40%不等时，MDKS的分类准确率相较于MAC-Learning分别提升了1.4%、1.2%、1.9%和1.4%。本研究为推动基于骨架的动作识别提供了新颖的见解和方法。未来研究将深入探索标注不平衡、标注噪声、多模态信息融合以及跨场景泛化能力等问题。

Keyword:

Graph contrast learning

Skeleton behavior recognition

Semi-supervised learning

Information bottleneck theory