.png){kind=icon}
返回
Adaptive Multimodal Semantic Balancing Framework for Sentiment Analysis
.png){kind=icon}
PRE
AI
DOI：10.1109/tmm.2026.3654415.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态情感分析在现有研究领域至关重要。然而，现有方法采用相同的静态多模态融合顺序处理所有样本，忽略了样本变异性问题的影响。这无法为不同样本动态平衡多模态间的情感语义。也就是说，固定的模态融合顺序可能并非对所有类型样本最优，导致情感分析结果次优。为此，本文提出了一种自适应多模态语义平衡框架（MSBF）用于情感分析任务。该架构包含两个关键部分：门控残差注意力机制和mini-batch设计。具体而言，提出门控残差自注意力机制以探究各模态的重要性和贡献度，从而确定特定的模态融合顺序。随后，利用门控残差跨模态注意力机制以层级方式整合多模态信息。这可在一定程度上有效消除语义偏差，并根据对应的融合顺序自适应平衡情感语义。此外，采用基于mini-batch的策略进一步处理样本变异性，提升多模态语义平衡过程的鲁棒性。所提出的自适应多模态语义平衡设计可能为多模态学习和情感分析提供新颖的分析范式。为评估所提模型性能，引入公开的多模态情感分析基准数据集进行相应实验。实验结果表明，本模型能够达到最先进（state-of-the-art）性能。
Keyword:
Attention mechanism
gating mechanism
multimodal learning
sentiment analysis
semantic balancing framework
期刊
IF:
9.7
论文数:
4.7K
被引数:
2.4W
机构
引用论文
.png){kind=icon}
When did you become so smart, oh wise one?! Sarcasm Explanation in Multi-modal Multi-party Dialogues
OAAI
OAAI分享收藏Coordinated-joint translation fusion framework with sentiment-interactive graph convolutional networks for multimodal sentiment analysis面向多模态情感分析的情感交互图卷积网络协同翻译融合框架
PREAI
分享收藏Learning Language-guided Adaptive Hyper-modality Representation for Multimodal Sentiment AnalysisOAAI
OAAI分享收藏
查看更多内容