.png){kind=icon}
返回
GCLNet: Generalized Contrastive Learning for Weakly Supervised Temporal Action Localization
.png){kind=icon}
PRE
AI
DOI：10.1109/TBDATA.2025.3528727.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
弱监督时空动作定位（WTAL）旨在通过视频级分类监督精确定位给定视频中的动作实例，这与动作分类部分相关。大多数现有的定位工作直接利用为视频分类任务预训练的特征编码器来提取视频特征，导致非目标特征，从而引发不完整或过完整的动作定位。因此，我们提出了广义对比学习网络（GCLNet），其中提出了两种新策略来改进预训练特征。首先，为解决过完整性问题，GCLNet引入具有良好上下文独立性和类别可分性的文本信息来丰富视频特征的表达，并提出了新颖的广义对比学习方法用于相似度度量，该方法促进同一类别特征的拉近，同时将不同类别的特征推远。因此，它实现了更紧凑的类内特征学习，并确保精确的动作定位。其次，为解决不完整问题，我们利用RGB和光流特征在场景外观和时序运动表达方面的各自优势，在GCLNet中设计了混合注意力策略以相互增强各通道特征。这一过程通过建立跨通道共识显著改进了特征。最后，我们在THUMOS14和ActivityNet1.2上分别进行了大量实验，结果表明我们提出的GCLNet能够产生更具代表性的动作定位特征。
Keyword:
Weak supervision
action localization
category text
cross-attention mechanism
modal consensus
期刊
I
IF:
5.7
论文数:
887
被引数:
3.0K
机构
引用论文
分享收藏Complementary adversarial mechanisms for weakly-supervised temporal action localization.png)
PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
查看更多内容