Semantic-driven pattern mining and alignment for few-shot action recognition

doi:10.1016/j.neucom.2026.135166

Semantic-driven pattern mining and alignment for few-shot action recognition

2026-09-19

0

PRE

AI

DOI：10.1016/j.neucom.2026.135166

原文链接

原文求助

摘要

En 中文

少样本动作识别（FSAR）旨在仅从少量标注视频中识别新颖动作类别，但由于在极有限监督下发现和对齐类判别时空模式的难度，仍具有高度挑战性。许多现有FSAR方法主要关注视觉相似性匹配，如帧级对齐，因此局限于单模态框架，忽略了动作标签中嵌入的丰富语义。尽管近期基于CLIP的方法引入了文本信息，但通常仅通过简单的视频-标签匹配或特征融合利用它。结果，动作语义在指导模式学习和对齐方面仍被低估。本文提出语义驱动模式挖掘与对齐（SePMA），一种基于CLIP的FSAR框架，利用分解的动作语义指导判别模式提取和自适应匹配。具体而言，我们使用大型语言模型（LLM）将每个动作标签分解为多个静态语义属性和一个动态语义属性，并由CLIP文本编码器编码为语义模式标记。基于这些语义提示，我们使用空间模式挖掘器后接时间模式挖掘器进行语义引导模式挖掘：前者从帧级视觉特征中提取判别空间模式，后者挖掘由这些空间模式锚定的语义基础时间模式。然后我们在视觉-视觉空间和视觉-文本空间中进行双重对齐。最后，根据类别级语义对比先验和支持集导出的静态匹配可靠性估计，自适应融合两个匹配分支。在UCF101、HMDB51、Kinetics和Something-Something V2上的大量实验表明，所提出的方法实现了优越的整体性能。

Keyword:

Few-shot learning

Action recognition

CLIP model

Semantic-driven pattern mining and alignment for few-shot action recognition

摘要

期刊

机构

引用论文