.png){kind=icon}
返回
Multi-Level Skeleton Self-Supervised Learning: Enhancing 3D action representation learning with Large Multimodal Models
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2025.113660.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
自监督学习（SSL）已被证明在基于骨架的动作理解中是有效的，吸引了越来越多的研究关注。先前的研究主要侧重于通过关节级掩码运动建模和序列级对比学习来捕捉关节与骨架序列之间的关系。然而，这些方法忽视了相似动作之间的细微语义联系，导致此类动作的特征区分度较差，并影响下游任务性能。在本文中，我们提出了一种多级骨架自监督学习（MLS3L）框架，该框架以互补的方式整合了关节级、序列级和语义级SSL，用于细粒度动作理解。具体而言，我们首先设计了基于拓扑的掩码重建用于关节级SSL，以及时序无关的对比学习用于序列级SSL。对于语义级SSL，我们利用预训练的大规模多模态模型（LMMs）为动作序列生成具有区分性的文本描述。然后，我们设计了一种加权软对齐算法，将文本描述与对应的骨架对齐。这种语义级表示蒸馏显著增强了区分相似动作的能力。此外，我们提出了一种多级协作策略，使不同级别的SSL任务能够共同学习各种粒度的通用表示，从而提高了动作表示特征的学习效果。我们的方法在NTU RGB+D、NTU RGB+D 120和PKUMMD数据集上验证了其在各种下游任务中表现出色的性能。
Keyword:
Action recognition
Self-supervised learning
Large multimodal models
Graph convolutional networks
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
.png){kind=icon}
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition用于基于骨架的动作识别的时空图卷积网络
OAAI
OAAI分享收藏Self-supervised 3D Skeleton Action Representation Learning with Motion Consistency and Continuity
PREAI
分享收藏Prototypical Contrast and Reverse Prediction: Unsupervised Skeleton Based Action Recognition原型对比和反向预测: 基于无监督骨架的动作识别OAAI
OAAI分享收藏
查看更多内容