.png){kind=icon}
返回
Zero-Shot Skeleton-Based Action Recognition With Prototype-Guided Feature Alignment
.png){kind=icon}
PRE
AI
DOI：10.1109/TIP.2025.3586487.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
零样本骨骼动作识别旨在对未见过的骨骼动作进行分类，而训练时并未接触过这些类别。由于从已知动作泛化到未知动作的困难，这项任务极具挑战性。以往研究通常采用两阶段训练：先使用交叉熵损失在已知动作类别上预训练骨骼编码器，然后对齐预提取的骨骼和文本特征，通过骨骼-文本对齐和语言模型的泛化能力将知识迁移到未见类别。然而，其有效性受到两方面限制：1) 骨骼特征区分度不足，因为固定骨骼编码器无法捕获有效的骨骼-文本对齐所需的必要对齐信息；2) 忽略了测试时骨骼与未见文本特征之间的对齐偏差。为此，我们提出了原型引导的特征对齐范式用于零样本骨骼动作识别，称为PGFA。具体而言，我们开发了一种端到端的跨模态对比训练框架来改进骨骼-文本对齐，确保骨骼特征具有足够的区分度。此外，我们引入了一种原型引导的文本特征对齐策略，以减轻测试时分布差异的负面影响。我们提供了理论分析来支持我们的原型引导文本特征对齐策略，并在三个知名数据集上对整体PGFA进行了实证评估。与顶尖竞争者SMIE方法相比，我们的PGFA在NTU-60、NTU-120和PKU-MMD数据集上分别取得了22.96%、12.53%和18.54%的绝对准确率提升。
Keyword:
Zero-shot
skeleton-based action recognition
contrastive learning
distribution discrepancy
prototypical learning
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W
机构
引用论文
.png){kind=icon}
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition用于基于骨架的动作识别的时空图卷积网络
OAAI
OAAI分享收藏
DeGCN: Deformable Graph Convolutional Networks for Skeleton-Based Action RecognitionDeGCN: 用于基于骨架的动作识别的可变形图卷积网络OAAI
OAAI分享收藏Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition基于骨架的动作识别的通道拓扑细化图卷积OAAI
OAAI分享收藏
查看更多内容