Prototype-Based Modality-Specific Feature Distillation for Incomplete Multimodal Sentiment Analysis

Aihua Zheng

doi:10.1109/TETCI.2025.3641665

Prototype-Based Modality-Specific Feature Distillation for Incomplete Multimodal Sentiment Analysis

2025-12-29

0

PRE

AI

DOI：10.1109/TETCI.2025.3641665

原文链接

原文求助

摘要

En 中文

不完整的多模态情感分析旨在通过利用包括文本、音频和视觉数据在内的不完整多模态信息来识别人类情感状态。现有方法主要关注从可用模态中重建数据，而忽略了缺失模态的特定信息以及原始数据与恢复数据之间的不一致分布。在这项工作中，我们提出了一种名为ProDNet的新型原型基模态特定特征蒸馏网络，它能够以原始数据与恢复数据之间更一致的分布来恢复缺失模态的特定信息。具体而言，我们为每种模态设计了一个类别特定原型以存储模态特定信息，并通过特征自蒸馏方式结合来自现有模态的不变特征与缺失模态的原型来重建缺失模态。为了获得有利的不变特征，我们设计了一种不变特征蒸馏策略，其中引入了权重门控机制以增强不变特征表示。最后，为了减少分布不一致，我们设计了一种分布一致性蒸馏损失，通过考虑教师网络与学生网络之间的样本相关性来强制原始数据与恢复数据的一致分布。在CMU-MOSI和CMU-MOSEI两个基准数据集上的大量实验证明了所提出方法的优越性能，特别是在缺失率较高的场景中。

Keyword:

Multimodal sentiment analysis

missing modalities

knowledge distillation

Prototype-Based Modality-Specific Feature Distillation for Incomplete Multimodal Sentiment Analysis

摘要

期刊

机构

引用论文