.png){kind=icon}
返回
Weakly Supervised Micro- and Macro-Expression Spotting Based on Multi-Level Consistency
.png){kind=icon}
OA
AI
DOI：10.1109/TPAMI.2025.3564951.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大多数未剪辑视频中的微表情和宏表情定位方法受到视频级收集和帧级标注的负担。基于视频级标签的弱监督表情定位（WES）可以潜在地减轻帧级标注的复杂性，同时实现细粒度的帧级定位。然而，我们认为现有的弱监督方法基于多示例学习（MIL），涉及模态间、样本间和任务间的差距。样本间差距主要来自样本分布和持续时间。因此，我们提出了一种新颖且简单的WES框架，MC-WES，使用多一致性协作机制，包括模态级显著性、视频级分布、标签级持续时间和片段级特征一致性策略，以仅使用视频级标签实现细粒度帧级定位，以缓解上述差距并融合先验知识。模态级显著性一致性策略专注于捕捉原始图像和光流之间的关键相关性。视频级分布一致性策略利用时间分布的稀疏性差异。标签级持续时间一致性策略利用面部肌肉持续时间的差异。片段级特征一致性策略强调相同标签下的特征保持相似性。在三个具有挑战性的数据集——CAS(ME)$^{2}$、CAS(ME)$^{3}$和SAMM-LV上的实验结果表明，MC-WES与最先进的完全监督方法相当。
Keyword:
Micro- and macro-expression spotting
weakly supervised learning
multi-level consistency
multiple instance learning
期刊
IF:
18.6
论文数:
1.0K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容