.png){kind=icon}
返回
Multi-View Knowledge Guided Semantic Prototype Learning for Generalized Zero-Shot Action Recognition
.png){kind=icon}
PRE
AI
DOI：10.1109/TMM.2025.3618570.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
广义零样本骨骼动作识别（GZSSAR）是计算机视觉领域一个新兴且具有挑战性的问题。它要求模型能够识别人类动作，包括训练阶段未见过的某些类别。以往研究通常仅依赖动作标签来弥合已见与未见动作类别之间的差距。然而，有限的动作语义信息阻碍了对全面语义原型的学习，从而限制了模型对未见类别的泛化能力。为解决此问题，除原始动作标签外，我们探索了四种类型的文本动作描述（即来自人工专家注释和大型语言模型的理解性描述和动作描述）用于每个动作类别。为全面利用多视角语义信息进行零样本分类，提出了一种基于注意力的多视角语义融合（AMSF）模型。该模型有效整合了多视角语义特征，并在共同空间中对齐视觉和语义特征，进而实现未见动作类别的识别。此外，以往工作通常在包含特定未见类别的设置下评估模型，这对于GZSSAR研究来说是不充分的。为全面评估不同模型，我们基于动作类别间的语义相似性引入了两种新颖的实验设置，即“简单设置”和“困难设置”。在三个大规模骨骼动作识别基准（PKUMMD、NTU-60和NTU-120）上的广泛实验结果不仅验证了所提多视角动作描述和AMSF模型的优势，也证明了新型实验设置的合理性。
Keyword:
Skeleton-based action recognition
generalized zero-shot learning
action descriptions
semantic fusion
期刊
IF:
9.7
论文数:
4.7K
被引数:
2.4W
机构
引用论文
.png){kind=icon}
CSFRNet: Integrating Clothing Status Awareness for Long-Term Person Re-identificationCSFRNet：整合服装状态感知以实现长期行人重识别
PREAI
分享收藏
查看更多内容