.png){kind=icon}
返回
VAE-Integrated Multiscale Generative Diffusion Modeling for Incomplete Multimodal Emotion Recognition
.png){kind=icon}
PRE
AI
DOI：10.1109/TCSS.2026.3681252.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态情感识别（MER）已被广泛应用于情感计算和人与计算机交互领域。然而，现实世界中的多模态数据流常因传感器故障、隐私限制和异构采集成本等原因导致模态缺失或不完整，这往往导致在完整输入下训练的模型性能严重下降。为解决此问题，我们提出了分层VAE-扩散模型用于情感重建（HVDER），一种针对不完整MER的潜在空间生成框架。HVDER首先采用模态特定的变分自编码器（VAEs）将语言、视觉和音频特征投影到具有KL正则化结构的统一低维潜在空间中。随后，一个两阶段粗到精的条件扩散模块通过恢复全局情感语义并细化局部判别细节来补全缺失模态的潜在表示。最后，将补全的与观测的模态表示进行融合以进行情感预测，并通过整合重构损失、扩散匹配、跨模态对齐和分类监督的多目标损失函数进行端到端优化。在CMU-MOSEI和CMU-MOSI上的大量实验验证了HVDER的有效性和鲁棒性。在固定模态缺失设置下，HVDER在CMU-MOSEI上达到平均ACC2/F1为76.8/75.4，在CMU-MOSI上为73.4/72.9，在所有模态组合中均优于代表性基线模型。在缺失率MR=0.7的高随机缺失情况下，HVDER在CMU-MOSEI上保持ACC2/F1为75.4/72.5，在CMU-MOSI上为68.0/67.2，表明在严重不完整场景中具有更强的性能下界。消融研究进一步证实，潜在空间建模和粗到精扩散设计共同促成了主要性能提升。
Keyword:
Emotion AI
fusion reconstruction
multimodal emotion recognition (MER)
期刊
IF:
4.9
论文数:
635
被引数:
6.8K
机构
引用论文
.png){kind=icon}
Multimodal Emotion Recognition Using Visual, Vocal and Physiological Signals: A Review基于视觉、声音和生理信号的跨模态情感识别：综述
OAAI
OAAI分享收藏分享收藏
查看更多内容