.png){kind=icon}
返回
A micro-expression recognition algorithm fusing visual information with textual semantics
.png){kind=icon}
PRE
AI
DOI：10.1016/j.eswa.2025.129000.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
微表情研究中，动作单元（AUs）及其相关面部区域之间的依赖关系为特征提取提供了有价值的线索，并推动了显著进展。然而，现有方法主要依赖视觉数据和AU标签，往往无法捕捉面部运动的细微差别。相比之下，AU的语义描述提供了关于面部肌肉行为的更丰富且更具可解释性的信息，但在微表情分析中仍被忽视。本研究提出了一种新型框架，将视觉信息与AU文本语义相结合，以增强微表情分析。具体而言，我们构建了详细的AU描述，并引入了一个语义特征提取模块来捕捉AU间的依赖关系。为克服卷积神经网络模型中局部特征的长距离归纳偏置局限性，我们在视觉特征提取模块中开发了一种区域注意力机制。此外，引入了跨模态注意力机制，在全局和局部层面将视觉特征与AU文本语义进行语义对齐和融合。我们的模型表现优异，在SMIC、CASMEII和SAMM数据集上的准确率分别为79.27%、82.45%和80.14%。在复合数据集上，我们的方法进一步实现了UF1为0.8461和UAR为0.8510，优于或达到了当前最佳方法。消融研究和可视化进一步验证了我们提出方法的有效性和可解释性。
Keyword:
micro-expression
Action Units
semantic description
cross-modal attention
region attention
