AU-Guided Neural Prototype Trees for Interpretable Micro-Expression Recognition

Xuewei Sun

doi:10.1109/taffc.2026.3718575

AU-Guided Neural Prototype Trees for Interpretable Micro-Expression Recognition

2026-07-30

0

PRE

AI

DOI：10.1109/taffc.2026.3718575

原文链接

原文求助

摘要

En 中文

微表情（MEs）是无意识的、短暂的面部运动，可以揭示隐藏的情绪。然而，自动微表情识别面临两个根本瓶颈：标准黑盒模型在极端数据稀缺下对领域特定伪影的过拟合倾向，以及其推理过程的有限透明度。为应对对泛化和鲁棒可解释性的迫切需求，本文提出了一种统一的端到端框架：基于动作单元引导的原型树（AU-ProtoTree）。该框架通过三个层次的动作单元（AU）引导运动和空间先验的集成来解决这些问题。首先，在信号层面，AU引导的弱监督策略优化光流网络，以过滤领域噪声并放大诊断相关的运动。其次，在特征层面，并行的双注意力视觉Transformer（ViT）平衡数据驱动学习与运动显著性先验，以实现鲁棒特征提取。第三，在决策层面，AU锚定的可变形原型树（ADPT）避免了黑盒映射，将识别建模为可解释的层次路径，其中每个节点将输入与一个空间正则化的可变形原型进行比较，该原型与AU相关的面部区域相关联。该框架在CASME II、SAMM和SMIC-HS数据集上分别实现了86.11%、83.43%和87.86%的最优跨域准确率。

Keyword:

Action unit

interpretability

micro-expression recognition

prototypical tree

AU-Guided Neural Prototype Trees for Interpretable Micro-Expression Recognition

摘要

期刊

机构

引用论文