返回
Not all samples are equal: Boosting action segmentation via selective incremental learning
DOI:10.1016/j.engappai.2025.110334.png)
摘要
En 中文
时空动作分割(TAS)旨在对视频中的每一帧进行分类。现有方法倾向于设计多样的网络架构,却忽略了训练样本的内在特性。值得注意的是,存在两个关键问题:(1)动作边界附近的帧更具模糊性,因此与其它帧相比,给训练带来更大困难;(2)除常用的类别标签外,视频内动作实例的总数可能作为额外的、潜在的至关重要监督线索。为解决这些问题,本文提出了一种新颖方法,结合了模型无关的训练策略与实例数量对齐损失,旨在提升现有模型性能。具体而言,提出了一种选择性增量学习(SIL)策略,通过动态样本选择机制以易到难的方式逐步训练模型,以缓解噪声样本的影响。此外,开发了一种实例数量对齐损失(INAL),通过整合多任务学习模块,同时捕获全局和局部特征。在三个基准数据集(即50Salads、佐治亚理工学院第一人称活动(GTEA)和Breakfast)上进行了广泛评估。实验结果表明,所提出的方法相比当前最优方法取得了显著的性能提升。
Keyword:
Temporal action segmentation
Noisy sample
Sample selection
Incremental learning
Instance number learning
Multi-task learning
期刊
IF:
8
论文数:
5.7K
被引数:
3.5W
机构
引用论文
Maximization and restoration: Action segmentation through dilation passing and temporal reconstruction最大化和恢复: 通过扩张传递和时间重建进行动作分割
PATTERN RECOGNITION
IF7.6

