A Generative Random Modality Dropout Framework for Robust Multimodal Emotion Recognition

Yang Zhang

doi:10.1109/MIS.2025.3597120

A Generative Random Modality Dropout Framework for Robust Multimodal Emotion Recognition

0

PRE

AI

DOI：10.1109/MIS.2025.3597120

原文链接

原文求助

摘要

En 中文

多模态情感分析在实际应用中面临重大挑战，因为隐私顾虑、设备限制或安全政策常导致模态缺失。本文提出了一种基于生成方法的随机模态丢弃方法（RMDG），旨在提升多模态模型在各种模态缺失场景下的鲁棒性和性能。RMDG方法在训练阶段采用生成方法，通过应用随机模态丢弃来模拟缺失模态。利用剩余模态预测并再生缺失模态的关键特征，模型可有效适应动态且不可预测的模态缺失。该策略不仅消除了针对每种模态组合进行单独训练或调整的需求，还显著提高了不完整多模态数据场景下情感分析的效率和准确性。大量实验表明，RMDG优于现有方法，在完整和缺失模态条件下均实现了更优的性能。

Keyword:

Training

Sentiment analysis

Emotion recognition

Adaptation models

Privacy

Predictive models

Performance gain

Robustness

Security

Testing

A Generative Random Modality Dropout Framework for Robust Multimodal Emotion Recognition

摘要

期刊

机构

引用论文