.png){kind=icon}
返回
Decoupled cross-attribute correlation network for multimodal sentiment analysis
.png){kind=icon}
PRE
AI
DOI：10.1016/j.inffus.2024.102897.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态情感分析是随着用户生成视频的兴起而在情感计算领域中兴起的一个蓬勃发展的关键分支。大多数现有的多模态情感分析方法专注于通过跨模态交互范式探索模态之间的强化。现有文献未能充分探索精细粒度特征级强化，而高效特征可以为分类器提供充分证据以提升模型性能。为缓解此问题，我们设计了一种新颖的精细粒度特征级交互框架，即解耦跨属性相关网络（DCCN），用于学习多模态数据的多元属性（共同性和多样性）并通过精细粒度特征级交互捕捉跨多元属性间的依赖关系。具体而言，我们首先设计了解耦的多模态表示模块以学习多模态数据的多元属性。随后，我们设计了跨属性相关网络以捕捉跨多元属性间的依赖关系，从而强化各属性的特征。最后，我们设计了自适应多属性决策融合模块，用于动态融合跨属性和单个属性的logits。大量实验验证了所提模型在两个公开的多模态情感分析基准数据集CMU-MOSI和CMU-MOSEI上相较于几种最先进方法的优越性。此外，我们可从实验中得出以下结论：(i) 多模态解耦框架能够学习多模态数据的共同性和多样性。(ii) 跨属性相关网络模块能够学习到比token级交互更高的特征与标签相关性。(iii) 自适应多属性决策融合模块能够动态调整多个logits对分类的贡献。
Keyword:
Multimodal sentiment analysis
Feature reinforcement
Adaptive fusion
期刊
IF:
15.5
论文数:
4.3K
被引数:
2.7W
机构
暂无机构信息
引用论文
.png){kind=icon}
Designing CNNs for Multimodal Image Restoration and Fusion via Unfolding the Method of Multipliers
PREAI
分享收藏分享收藏
查看更多内容