Multi-modal collaborative learning for facial expression recognition in e-learning platforms

Jiezhang Min

doi:10.1038/s41598-026-47189-z

Multi-modal collaborative learning for facial expression recognition in e-learning platforms

2026-04-07

0

OA

AI

DOI：10.1038/s41598-026-47189-z

原文链接

查看原文

摘要

En 中文

近年来，面部表情识别（FER）任务已成为智能教育系统发展中的重要研究课题。然而，面部表情具有高度动态性和显著变异性，这使得准确识别变得困难。为解决这一挑战，我们提出了一种基于CLIP模型的新型多模态协作学习（MaCLe）方法，用于在线学习场景中的FER应用。协作提示学习的实现增强了泛化能力和动态性。所提出模型的有效性在三个广泛使用的基准数据集上进行了验证，包括RAF-DB、FER2013和AffectNet。MaCLe在这些数据集上分别实现了95.45%、80.37%和77.66%的识别准确率。消融研究显示，深度J=7和提示长度为2-4个token的最优配置能使该模型有效平衡准确率与泛化能力。此外，即使集成了多模态提示生成，MaCLe相较于CoOp和Co-CoOp仅增加约0.1%的FLOPs。同时，它表现出更快的收敛速度，在5个epoch内即可达到结果（相比10个epoch），且参数开销更低，仅比CLIP增加2.85%。结果表明，MaCLe显著提升了识别准确率，并改善了电子学习平台中的训练效率和可扩展性。

Keyword:

Computational biology and bioinformatics

Mathematics and computing

Facial expression recognition (FER)

Multi-modal collaborative learning (MaCLe)

CLIP model

Collaborative prompt learning

Ablation studies

Science

Humanities and Social Sciences

multidisciplinary

Multi-modal collaborative learning for facial expression recognition in e-learning platforms

摘要

AI总结

期刊

机构

引用论文