返回
A video action segmentation method based on multi-scale temporal features
DOI:10.1088/2631-8695/ae68d8.png)
摘要
En 中文
视频动作分割是理解视频的关键技术。由于现有视频动作分割方法的局限性,本文提出了一种基于改进ASFormer的多尺度时序特征视频动作分割网络。针对ASFormer网络多层结构导致的局部时序特征消失问题,我们首先引入多尺度时序特征提取模块和多尺度注意力模块,以提高网络对动作的时序特征提取能力。其次,为提升网络对动作边界的定位能力,引入边界感知损失以增强网络在动作边界处的注意力。然后,引入平滑后处理操作以抑制突变帧引起的过分割。最后,为验证本文提出方法的有效性,在公开数据集上进行了实验研究。
Keyword:
action segmentation
ASFormer network
multi-scale temporal features
boundary-aware loss

