返回
Pseudo label refining for semi-supervised temporal action localization
DOI:10.1371/journal.pone.0318418.png)
摘要
En 中文
时序动作定位模型的训练高度依赖于大量人工标注的数据。与图像标注相比,视频标注更为繁琐且耗时。因此,结合有标签和无标签数据进行联合训练的半监督方法已引起学术界和工业界的日益关注。本研究提出了一种基于教师-学生框架的方法,称为伪标签精炼(PLR),其包含三个关键组件。首先,我们提出了伪标签自精炼,其特点在于采用时域感兴趣区域池化,以提高TAL伪标签的边界精度。其次,我们设计了一个名为边界合成的模块,通过多次推理进一步精炼伪标签中的时域间隔。最后,为渐进式学习不同质量的伪标签,定制了一种自适应权重学习策略。本研究提出的方法使用ActionFormer和BMN作为检测器,在THUMOS14和ActivityNet v1.3数据集上取得了显著改进。实验结果表明,与其它先进的SSTAL方法相比,在标签率为10%至60%时,所提出的方法显著提高了定位精度。进一步的消融实验表明各模块的有效性,证明了PLR方法能够提高教师模型推理得到的伪标签的精度。
期刊
IF:
2.6
论文数:
2.6W
被引数:
81.6W

