Unsupervised temporal action segmentation with sample discrimination training and alignment-based boundary refinement

doi:10.1016/j.neucom.2025.131636

Unsupervised temporal action segmentation with sample discrimination training and alignment-based boundary refinement

2025-10-03

0

PRE

AI

DOI：10.1016/j.neucom.2025.131636

原文链接

原文求助

摘要

En 中文

无监督时序动作分割（UTAS）旨在解决将未修剪视频划分为连贯动作片段的任务，而无需人工标注。尽管基于边界检测的方法已展现出优越性能，但存在两个关键局限性。首先，这些方法在训练过程中通常对所有帧进行统一处理，导致过度分割和性能欠佳。其次，它们主要依赖视频内特征，而忽略了数据集中可能具有价值的视频间相关性。为应对这些挑战，我们提出了一种综合性的UTAS框架，包含三项关键创新：（1）一种判别训练机制，用于区分时间域中的边界/非边界帧和空间域中的运动/背景像素，并结合加权训练策略与多时间尺度建模；（2）一种自验证机制，用于跨不同输入序列验证预测结果；（3）一种基于视频对齐的边界优化方法，该方法根据特征分布构建参考视频集，并建立视频间对应关系以提升边界定位精度。在Breakfast、50Salads和YouTube Instructions三个基准数据集上的广泛评估表明，我们的方法实现了当前最优性能，定量结果显著优于现有方法。

Unsupervised temporal action segmentation with sample discrimination training and alignment-based boundary refinement

摘要

期刊

机构

引用论文