返回
Exploring Supervised Contrastive Learning for Skeleton-Based Temporal Action Segmentation
DOI:10.1109/TCDS.2025.3532694.png)
摘要
En 中文
基于骨架的时序动作分割(STAS)以长时序人体骨架序列作为输入,并在帧级别预测动作类别。当前的STAS方法主要采用帧级交叉熵损失,仅关注独热标签对数之间的关系,而忽略了帧级表示质量的重要性。为此,我们提出了一种新颖的监督对比骨架时序动作分割框架(SCSAS),用于优化表示学习。具体而言,我们的框架通过一个简单的投影头构建帧级嵌入空间,并利用三种新颖的对比损失优化该空间。这些损失通过拉近相同活动的表示、推远不同动作的表示,增强了帧级和段级之间的语义关系。此外,我们还引入了一种基于置信度的硬锚点采样策略,以提高对比学习的效率。最后,引入了一个边界精修模块,以充分利用优化后的表示优势。我们的方法能够无缝集成到现有的STAS方法中,并在各种数据集上一致地提升其性能,且无需额外的推理成本。通过引入边界精修分支,早期的STAS方法甚至可以达到与当前最优方法相当的性能。
Keyword:
Boundary refinement
memory bank
skeleton-based temporal action segmentation (SCSAS)
supervised contrastive learning
期刊
IF:
4.9
论文数:
1.1K
被引数:
3.5K
机构
暂无机构信息
引用论文
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition用于基于骨架的动作识别的时空图卷积网络
Learning Bodily Expression of Emotion for Social Robots Through Human Interaction通过人机交互学习社交机器人的情感身体表达
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation使用RNN编码器-解码器学习统计机器翻译的短语表示
Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition基于骨架的动作识别的通道拓扑细化图卷积

