.png){kind=icon}
返回
An Information Compensation Framework for Zero-Shot Skeleton-Based Action Recognition
.png){kind=icon}
PRE
AI
DOI：10.1109/TMM.2025.3543004.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
零样本人体骨架动作识别旨在构建一个能够识别训练期间未见类别的动作的模型。先前的研究主要关注对齐序列的视觉和语义空间分布。然而，这些方法简单提取语义特征。它们忽略了适当的提示设计可以为丰富的细粒度动作线索提供鲁棒表示空间的聚类。为了缓解骨架序列信息不足的问题，我们从信息论的角度设计了一个信息补偿学习框架，通过多粒度语义交互机制提高零样本动作识别的准确性。受集成学习的启发，我们提出了一种多级对齐（MLA）方法为动作类别补偿信息。MLA通过多头评分机制将多粒度嵌入与视觉嵌入对齐，以区分语义相似的动作名称和视觉相似的动作。此外，我们引入了一种新的损失函数采样方法，以获得紧密且鲁棒的表示。最后，这些多粒度语义嵌入被合成以形成适当的分类决策面。在具有挑战性的NTU RGB+D、NTU RGB+D 120和PKU-MMD基准上的评估实现了显著的行动识别性能，并验证了多粒度语义特征有助于区分具有相似视觉特征的动作集群。
Keyword:
Action recognition
skeleton-based
information compensation
multi-granularity embeddings
robust
期刊
IF:
9.7
论文数:
4.5K
被引数:
2.4W
机构
引用论文
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition用于基于骨架的动作识别的时空图卷积网络
OAAI
.png){kind=icon}
OAAI分享收藏Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition基于骨架的动作识别的通道拓扑细化图卷积OAAI
OAAI分享收藏Part-Aware Unified Representation of Language and Skeleton for Zero-Shot Action Recognition语言与骨骼的部件感知统一表征用于零样本动作识别
PREAI
分享收藏分享收藏
查看更多内容