.png){kind=icon}
返回
Multi-task learning framework using tri-encoder with caption prompt for multimodal aspect-based sentiment analysis
.png){kind=icon}
PRE
AI
DOI：10.1007/s11227-025-07252-4.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态基于方面的情感分析（MABSA）是一种先进技术，用于识别多模态数据中所有方面术语及其相应的情感。大多数现有MABSA方法面临两个主要挑战：（1）MABSA中使用的表示直接由通用预训练模型编码，这些模型对识别方面级情感不敏感；（2）在表示关键方面及其情感极性时，潜在的视觉语义信息利用不足。为解决上述挑战，我们提出了一种优化的多任务学习框架，使用带有字幕提示（TECP）的三编码器，包括MABSA和两个辅助单模态任务，以联合学习方面感知和情感感知的多模态表示。在TECP中，设计了合并注意力融合网络以获取多模态特征，增强了模内和跨模态语义交互。在三编码器中，字幕编码器被设计用于进一步生成视觉字幕特征作为重要线索，以丰富多模态语义和情感信息。此外，在字幕编码器中，提出了依赖权重注意力网络以聚焦字幕句子中的方面级特征。我们进行了细致的实验，并从精确率、召回率和F1分数方面评估了TECP的性能。与之前的基线模型相比，我们的TECP在两个基准Twitter数据集上实现了SOTA结果。
Keyword:
Multimodal aspect-based sentiment analysis
Multi-task learning
Image caption prompt
Dependency weight attention
Merged-attention fusion network
期刊
IF:
2.7
论文数:
1.1K
被引数:
1.0W
机构
引用论文
分享收藏分享收藏A Novel Energy Based Model Mechanism for Multi-Modal Aspect-Based Sentiment Analysis一种基于能量的新型模型机制，用于多模态基于方面的情感分析
OAAI
OAAI分享收藏Atlantis: Aesthetic-oriented multiple granularities fusion network for joint multimodal aspect-based sentiment analysisAtlantis: 面向美学的多粒度融合网络，用于联合多模态基于方面的情感分析.png)
INFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏Entity-Sensitive Attention and Fusion Network for Entity-Level Multimodal Sentiment Classification
OAAI
OAAI分享收藏Beneath the Tip of the Iceberg: Current Challenges and New Directions in Sentiment Analysis Research在冰山一角之下: 情感分析研究的当前挑战和新方向OAAI
OAAI分享收藏SentributeProceedings of the Second International Workshop on Issues of Sentiment Discovery and Opinion Mining
Proceedings of the Second International Workshop on Issues of Sentiment Discovery and Opinion MiningIF0
PREAI
分享收藏
查看更多内容