.png){kind=icon}
返回
Multimodal progressive contrastive learning for sentiment analysis
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neucom.2025.132033.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态情感分析（MSA）旨在通过整合多种模态来推断人类情感。然而，自然语言处理技术的快速发展造成了显著的模态不平衡，即模型从文本中提取的信息比从其他模态中提取的更为丰富。这种差异，加之非文本数据固有的噪声和有限的数据可用性，常常导致特征表示次优和融合场景具有挑战性。为解决这些问题，我们提出了多模态渐进对比（MPC）学习模型。MPC的核心思想是首先构建一个高度判别性的文本特征空间，然后利用其指导并增强融合前的弱模态表示。具体而言，我们引入了一种多级对比学习范式，该范式采用预训练语言模型不同层级中层次化结构化的硬正样本，以及来自其他模态的渐进式硬负样本。随后，采用基于条件变换的特征增强模块来改善非文本模态的特征，以促进更平衡的多模态交互。最后，情感感知融合模块有效地整合了不同特征空间中的情感信息。在公开基准数据集上的广泛实验证明了所提出的MPC模型的先进性能。
