Cross-Task Relation-Aware Consistency for Weakly Supervised Temporal Action Detection

Wenfei Yang

doi:10.1109/TPAMI.2025.3594178

Cross-Task Relation-Aware Consistency for Weakly Supervised Temporal Action Detection

0

PRE

AI

DOI：10.1109/TPAMI.2025.3594178

原文链接

原文求助

摘要

En 中文

时空动作检测旨在预测未剪辑视频中的动作时序边界和类别标签。近年来，为缓解全监督方法的标注成本，许多弱监督时空动作检测方法被提出。由于动作定位与动作分类之间的差异，现有的弱监督方法广泛采用双分支结构，其中分类分支用于预测类别得分，定位分支用于预测每个片段的前景得分。在弱监督设置下，模型训练主要依赖视频级或稀疏片段级标注。因此，分类分支倾向于关注最具判别性的片段而忽略判别性较弱的片段以最小化分类成本，定位分支可能为某些负片段分配较高的前景得分。这种现象会严重损害动作检测性能，因为测试阶段动作检测需要将前景得分和分类得分结合。为解决此问题，已有方法被提出以促进分类分支与定位分支之间的一致性。然而，这些方法仅考虑视频级或片段级的一致性，未考虑不同片段间的关系一致性。本文提出了一种跨任务关系感知一致性（CRC）策略用于弱监督时空动作检测，包括一个视频内一致性模块和一个视频间一致性模块。视频内一致性模块能有效保证同一视频内片段间的关系一致性，视频间一致性模块保证不同视频间片段的关系一致性。这两个模块通过结合视频内和视频间一致性实现互补。实验结果表明，所提出的CRC策略能持续提升现有弱监督方法的性能，包括点击级监督方法（如LACP Lee等人，2021）、视频级监督方法（如DELU Chen等人，2022）和无监督方法（如BaS-Net Lee等人，2020），验证了所提方法的有效性和通用性。

Keyword:

Cross-task

relation

consistency

temporal action detection

Cross-Task Relation-Aware Consistency for Weakly Supervised Temporal Action Detection

摘要

期刊

机构

引用论文