Context Aware Multi-cue Model for Facial Expression Recognition

doi:10.1109/taffc.2026.3744682

Context Aware Multi-cue Model for Facial Expression Recognition

2026-10-19

0

PRE

AI

DOI：10.1109/taffc.2026.3744682

原文链接

原文求助

摘要

En 中文

野外面部表情识别（FER）仍然具有挑战性，因为仅依靠面部外观信息在遮挡、姿态变化、低图像质量和模糊表情等情况下往往不足。现有方法主要学习局部视觉模式，但可能忽略两种互补线索：几何面部结构（捕捉与表情相关的变形）和语义上下文（描述高级面部状态）。我们提出了上下文感知多线索模型（CAMM），一种多模态FER框架，结合了外观、几何和视觉语言生成的文本描述。除了面部外观分支外，几何分支提供面部形状变化的结构线索，而文本分支提供关于眼睛、眉毛、嘴巴和面部紧张等表情相关区域的语义指导。CAMM将这种语义指导自适应地注入视觉特征，并通过多尺度上下文聚合进一步优化融合表示。在四个基准FER数据集（即RAF-DB、AffectNet、FERPlus和SFEW）上的实验表明，CAMM实现了最先进的表现，并在各种具有挑战性的野外场景中提高了鲁棒性。结果表明，结合外观、几何和语义线索为面部表情识别提供了更可靠的表示。

Keyword:

Facial expression recognition

Multimodal inter action

Computer vision

Affective computing

Context Aware Multi-cue Model for Facial Expression Recognition

摘要

期刊

机构

引用论文