.png){kind=icon}
返回
Knowledge-Driven Compositional Action Recognition
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2025.111452.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
人类行为通常涉及与物体的交互，因此在行为识别中，行为标签可以通过动词和名词的组合来定义。几乎不可能收集和标注现实世界中所有可能组合的足够训练数据。因此，组合行为识别的主要挑战在于使模型能够理解训练过程中未见过的行为-物体组合。我们提出了一种知识驱动的组合调制模型（KCMM），通过构建未见过的行为-物体组合来提升行为识别的泛化能力。我们首先设计了一个基于语法知识的组合模块（GKC），该模块从组合行为中提取动词和名词的标签及其对应的特征表示，然后在语法规则的指导下对其进行调制，以构建新的行为-物体组合。随后，为了验证新行为-物体组合的合理性，我们设计了一个基于常识知识的验证模块（CKV）。该模块从ConceptNet中提取运动常识，并将其融入组合标签中，以提高验证的全面性。需要注意的是，GKC并不构建新的视频，而是直接在标签和特征空间中对动词和名词进行组合，以获得新的组合行为标签-特征对。我们在Something-Else和NEU-I数据集上进行了广泛的实验，结果表明，无论是在组合设置还是少样本设置下，我们的方法均显著优于当前的最优方法。源代码可在https://github.com/XDLiuyyy/KCMM获取。
Keyword:
Compositional action recognition
Compositional learning
Knowledge-Driven
Few-shot
Knowledge graph
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
暂无机构信息
引用论文
Progressive privilege d knowle dge distillation for online action detection.png)
PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
分享收藏
Phase Randomization: A data augmentation for domain adaptation in human action recognitionPATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏分享收藏
查看更多内容