PAL: Predictive Action Logic for online action segmentation

Tongjie Xu

doi:10.1016/j.cviu.2026.104891

PAL: Predictive Action Logic for online action segmentation

2026-08-01

0

PRE

AI

DOI：10.1016/j.cviu.2026.104891

原文链接

原文求助

摘要

En 中文

在线动作分割（OAS）旨在实时识别和分割连续视频流中的人体动作。由于缺乏未来上下文，OAS容易受到局部模糊和过度分割的影响，因为大多数现有方法将其视为基于过去特征的被动模式识别问题。我们认为，稳健的在线理解可以受益于一种预测视角，即利用预测的未来动态作为当前决策的逻辑先验。为此，我们提出预测动作逻辑（PAL），将OAS重新表述为一个预测-验证过程。具体而言，PAL预测短期运动趋势以捕捉动作逻辑下的动态不变量，并联合利用这些预测与过去观察来推断当前动作。为确保预测未来的语义保真度，我们引入了非对称自蒸馏，它刻画了动作的动态不变量同时过滤任务无关的细节。在此基础上，我们设计了一个时序校准器，将当前帧表示与过去和预测未来的表示对齐，从而缓解局部模糊并促进时间上的一致性识别。在多个基准上的实验表明，PAL在提高分段级时间一致性方面尤为有效。

Keyword:

Temporal online action segmentation

Video understanding

Information bottleneck

PAL: Predictive Action Logic for online action segmentation

摘要

期刊

机构

引用论文