.png){kind=icon}
返回
Toward multimodal sentiment analysis with a self-supervised knowledge-augmented network
.png){kind=icon}
PRE
AI
DOI：10.1016/j.eswa.2026.131648.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态情感分析（MSA）因其能够利用多模态中的互补情感线索而受到越来越多的关注。然而，现有方法仍存在两个关键局限性：(1) 过度关注跨模态对齐，而忽视了情感特定的跨模态交互线索的深度分析，以及(2) 依赖有限的标注数据，导致监督模型的过拟合。为解决这些挑战，本文提出了SKAN：一种用于多模态情感分析的自监督知识增强网络。首先，将多模态信息输入大型视觉-语言模型以生成明确的跨模态情感描述。这些情感描述作为外部知识，通过一个以文本为中心的多模态融合模块与相应的文本-图像对进行整合。这增强了模型发现潜在情感关联的能力，并提高了多模态情感表达能力。其次，为缓解数据稀缺的影响，设计了一种自监督预训练策略，利用情感强度词典对无标注多模态数据进行情感掩码和强度估计。这种设计使模型能够从大量无标注样本中获取跨模态情感表示，从而提高其语义敏感性和泛化能力。在三个基准数据集上的广泛实验验证了SKAN相比最新基准的优越性能。所提出的框架提供了一种新颖范式，协同整合外部知识与自监督，以推动多模态情感分析领域的发展。
Keyword:
multimodal sentiment analysis
self-supervised learning
knowledge augmentation
cross-modal interaction
emotion intensity estimation
期刊
IF:
7.5
论文数:
2.9W
被引数:
10.2W
机构
引用论文
分享收藏Enhancing Point-of-Interest Recommendation Systems through Multi-Modal Data Integration in Location-Based Social Networks: Challenges and Future DirectionsP.K. Dutta, A. Kumar, Ş. Sakici和B. Mensah，通过位置感知社交网络中的多模态数据集成增强兴趣点推荐系统：挑战与未来方向，EDRAAK 2025（2025）12–18。.png)
EDRAAK
EDRAAKIF0
PREAI
分享收藏Social Image Sentiment Analysis by Exploiting Multimodal Content and Heterogeneous Relations利用多模态内容和异质关系进行社会图像情感分析
PREAI
分享收藏Lexicon annotation in sentiment analysis for dialectal Arabic: Consensus Expert Standardized Criteria阿拉伯语方言情感分析中的词典标注：专家共识标准化标准
PREAI
分享收藏
查看更多内容