Joint Mixing Data Augmentation for Skeleton-Based Action Recognition

doi:10.1145/3700878

2024-11-05

Linhua Xiang

Zengfu Wang

DOI：10.1145/3700878

原文链接

原文求助

摘要

En 中文

基于骨架的动作识别有助于理解视频中的人类行为，因此近年来作为动作识别的一个重要研究领域受到了广泛关注。当前的研究主要关注设计更先进的算法，以更好地从骨架数据中提取时空信息。然而，由于现有骨架数据集的数据量较小，且缺乏有效的数据增强方法，模型训练过程中容易出现过拟合。为解决这一挑战，我们提出了一种基于混合的数据增强方法——联合混合数据增强（JMDA），该方法能够普遍提升各种基于骨架的动作识别算法的有效性和鲁棒性。在空间信息方面，我们引入了空间混合（SM）方法，该方法将原始3D骨架离散信息投影到2D空间。随后，SM在训练过程中混合两个随机样本的投影空间信息，以实现基于空间的数据增强。在时间信息方面，我们提出了时间混合（TM）。利用骨架数据中的时间连续性，我们对原始骨架数据进行时间缩放操作，然后在训练过程中合并两个随机样本，以实现基于时间的数据增强。此外，我们分析了将混合数据增强引入骨架数据所引发的特征不匹配（FM）问题。随后，我们提出了一种新的数据预处理方法——特征对齐（FA），以有效解决该问题并提升模型性能。此外，我们提出了一种新的训练流程——联合训练策略（JTS），该方法结合多种混合数据增强方法，以进一步改善模型性能。具体而言，我们提出的JMDA具有即插即用特性，并广泛应用于基于骨架的动作识别模型。同时，JMDA的应用不会增加模型参数，且几乎没有额外的训练成本。我们在NTU RGB+D 60和NTU RGB+D 120数据集上进行了大量实验，以验证所提出的JMDA在几种主流基于骨架的动作识别算法上的有效性和鲁棒性。

Keyword:

skeleton-based action recognition

data augmentation

graph convolutional networks