.png){kind=icon}
返回
Semantic information guided multimodal skeleton-based action recognition
.png){kind=icon}
PRE
AI
DOI：10.1016/j.inffus.2025.103289.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
人体骨骼序列是人类运动表示的关键数据模态。基于骨骼的动作识别的主要挑战在于有效捕捉骨骼关节之间的时空相关性。然而，当人体与背景中的其他物体交互时，这些时空相关性可能会变得不明显。为解决此问题，我们分析了人类动作的语义信息，并提出了一种语义信息引导的人体骨骼动作识别方法（ActionGCL），该方法有助于在潜在空间中将不同动作类别的骨骼数据进行区分。具体而言，我们首先基于图卷积神经网络构建了一个时空动作编码器，以提取人体骨骼序列之间的依赖关系。该编码器包含交替堆叠的模块，分别用于时序特征提取和空间图卷积。时序特征提取模块整合了多尺度时序卷积网络，以捕捉节点间丰富的帧间相关性，而空间图卷积模块则自适应地学习样本特定的拓扑图。随后，为利用动作标签中嵌入的丰富语义信息，我们设计了一个多模态对比学习模块，同时利用骨骼和文本数据。该模块在骨骼-文本方向上优化骨骼数据，借助动作标签中的丰富语义信息指导时空动作编码器的训练，从而有助于准确识别仅依据时空相关性难以区分的模糊动作。在NTU RGB+D 60和NTU RGB+D 120两个主流动作识别数据集上的实验结果表明，ActionGCL有效且在识别准确率上显著优于其他模型。
Keyword:
Skeleton-based action recognition
Graph convolutional neural network
Semantic information
Contrastive learning
Detection of lumbar disc herniation
期刊
IF:
15.5
论文数:
4.2K
被引数:
2.7W
机构
暂无机构信息
引用论文
.png){kind=icon}
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition用于基于骨架的动作识别的时空图卷积网络
OAAI
OAAI分享收藏Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition基于骨架的动作识别的通道拓扑细化图卷积OAAI
OAAI分享收藏
查看更多内容