Modality-uncertainty-aware knowledge distillation framework for multimodal sentiment analysis

doi:10.1007/s40747-025-02135-w

Modality-uncertainty-aware knowledge distillation framework for multimodal sentiment analysis

2025-11-11

0

OA

AI

N

Nan Wang

王旗 (Qi Wang) *

DOI：10.1007/s40747-025-02135-w

原文链接

查看原文

摘要

En 中文

多模态情感分析（MSA）在理解人类情感方面变得越来越重要，其应用领域包括人机交互、社交媒体分析和情感识别等。MSA利用包括文本、音频和视觉输入在内的多模态数据，以提高情感识别的性能。然而，现有方法面临挑战，尤其是在处理缺失模态时。虽然一些方法尝试处理模态缺失，但它们往往无法有效恢复缺失信息或考虑不同模态之间的复杂交互。此外，许多模型将模态同等对待，未能充分利用每种模态的独特优势。为解决这些局限性，我们提出了模态不确定性感知知识蒸馏框架（MUKDF）。具体而言，我们引入了一种模态随机缺失策略，以增强模型对不确定模态场景的适应性。为进一步提高性能，我们集成了一个双分支模态知识提取器（DMKE），以平衡跨模态的特征贡献，并设计了一个多模态掩码Transformer（MMT），用于捕捉模态之间的细微交互。此外，我们提出了一种对比特征级和对齐基表示蒸馏机制（CFD&ARD），以加强教师模型与学生模型表示的对齐，确保有效的知识转移和学习鲁棒性提升。在两个基准数据集上的全面实验表明，MUKDF优于多个基线模型，不仅在完整模态条件下，而且在更具挑战性的不完整模态场景中，均实现了更优的性能。这凸显了我们的框架在处理多模态情感分析中固有不确定性和复杂性的有效性。

Keyword:

Knowledge distillation

Multimodal sentiment analysis

Attention mechanism

Multimodal learning

Modality-uncertainty-aware knowledge distillation framework for multimodal sentiment analysis

摘要

AI总结

期刊

机构

引用论文