Multimodal Functional Maximum Correlation for Emotion Recognition

Zheng, Deyang

doi:10.1109/taffc.2026.3695876

Multimodal Functional Maximum Correlation for Emotion Recognition

2026-07-01

0

PRE

AI

DOI：10.1109/taffc.2026.3695876

原文链接

原文求助

摘要

En 中文

情绪状态表现为中枢和自主系统中的协调且异质的生理反应，这对情感计算中的多模态表示学习构成了根本性挑战。学习此类联合动态进一步因稀疏和主观的情感标注而复杂化，促使采用自监督学习（SSL）。然而，大多数现有SSL方法依赖成对对齐目标，这不足以表征两个以上模态间的联合依赖关系，且无法捕捉协调的脑-自主反应所产生的高阶交互。为突破此局限，我们提出多模态功能最大相关（MFMC），一种基于双全相关（DTC）目标最大化高阶多模态依赖的原理性SSL框架。通过推导紧夹逼界并基于功能最大相关分析（FMCA）的迹代理进行优化，MFMC可直接捕捉联合多模态交互，而无需依赖成对对比损失。在三个公开情感计算基准上的实验表明，MFMC在受试者依赖和受试者无关协议下均持续达到最先进或竞争性性能，凸显其对受试者间变异性的鲁棒性。具体而言，MFMC在DEAP-360VR上取得显著提升，使用EDA信号单一，受试者依赖准确率从78.9%提升至86.8%，受试者无关准确率从27.5%提升至33.1%，并在MAHNOB-HCI最具挑战性的EEG受试者无关分割中，性能仍与最佳方法相差不到0.8个百分点。

Keyword:

Electroencephalography

Modeling

Emotion recognition

Labeling

Training

Self-supervised learning

Affective computing

Windows

Correlation

Learning (artificial intelligence)

Multimodal emotion recognition

self-supervised learning

physiological signals

functional maximum correlation analysis

dual total correlation

Multimodal Functional Maximum Correlation for Emotion Recognition

摘要

期刊

机构

引用论文