Conditional GANs for human activity recognition: synthetic keypoint data generation

doi:10.1007/s00521-025-11831-0

2026-03-14

PRE

DOI：10.1007/s00521-025-11831-0

原文链接

原文求助

摘要

En 中文

人类活动识别（HAR）高度依赖高质量数据集，但数据稀缺性往往限制了模型性能。本文探讨了使用条件生成对抗网络（CGANs）进行关键点运动生成，以增强三个不同领域中的活动识别：体育、驾驶员行为分析和使用Weizmann数据集的一般人类动作。第一个实验为三种网球击球动作——正手、反手和发球——生成合成关键点，以扩充现有数据集。使用Fréchet Inception Distance（FID）评估生成关键点的质量，结果显示平均得分为正手2.72、反手3.11、发球2.86，表现良好。将合成数据整合到经典和深度学习模型中显著提高了击球分类的准确率。在评估的经典机器学习模型中，梯度提升分类器（GBC）表现最佳，整合合成数据后准确率从92.14%提升至94.90%。在深度学习类别中，使用随机梯度下降（SGD）优化器优化的卷积神经网络（CNN）记录了最高准确率，从96.03%提升至99.15%，成为整体表现最优的模型。第二个实验通过为“驾驶时揉头”这一动作生成关键点，解决了罕见驾驶员行为的识别问题，该动作常与疲劳或不舒适相关。FID分数从第一视频的5.67稳步下降至第十视频的0.25，10个视频的平均得分为1.04，显示出真实与生成关键点之间相似度的提升。第三个实验聚焦于为Weizmann人类动作数据集中的行走、跑步和开合跳动作生成关键点。利用CGANs为每个动作生成10个合成关键点视频，以模拟逼真的全身运动。使用Fréchet Inception Distance（FID）评估生成序列的真实性，平均得分分别为行走2.69、跑步3.99、开合跳2.99。结果表明CGANs成功创建了逼真的运动数据。这提供了一种无需大量采集现实视频即可扩展人类运动数据集的有用方法，有助于增加数据多样性并提高未来模型的可靠性。本研究表明，合成关键点能有效支持人类活动识别（HAR），特别是在标注数据有限或难以获取的场景中。

Keyword:

Conditional generative adversarial networks (CGANs)

Human activity recognition (HAR)

Synthetic data

Fréchet inception distance (FID)

Dataset augmentation