SHF-MSA: A Hypergraph-Based Multimodal Sentiment Analysis Model

doi:10.1109/taffc.2026.3722051

SHF-MSA: A Hypergraph-Based Multimodal Sentiment Analysis Model

2026-08-10

0

PRE

AI

DOI：10.1109/taffc.2026.3722051

原文链接

原文求助

摘要

En 中文

从多模态信号中可靠地识别人类情感对于人机交互和情感智能系统至关重要。然而，多模态情感分析仍然面临模态异构表示、高阶交互建模不足以及在分布偏移下泛化能力有限等挑战。为解决这些问题，本文提出了一种基于超图的多模态情感分析模型SHF-MSA，该模型整合了表示协调、结构化高阶融合和多头任务学习。首先，统一的预编码层（UPL）采用模态特定编码、共享空间投影和统计归一化，以减少文本、声学和视觉模态之间的表示差异，同时保留模态特定和时序信息。其次，时序协同超图编码（TSHE）模块在同一词级位置构建跨模态超边，并在模态内构建时序窗口超边，以联合捕捉跨模态共现和局部时序依赖。节点-超边-节点传播进一步结合实例依赖的超边路由，根据样本特定证据自适应地重新加权超边传播。最后，多头任务融合输出层（MFOL）聚合了跨时序和模态维度的结构化表示，并联合执行情感回归、极性分类和七类情感级预测。在CMU-MOSI、CMU-MOSEI及其分布外分拆数据集上的实验表明，SHF-MSA在回归和分类任务上均取得了具有竞争力的性能，尤其在严格极性判别和分布偏移评估中表现突出。

Keyword:

Multimodal sentiment analysis

multimodal fusion

hypergraph learning

multi-task learning

SHF-MSA: A Hypergraph-Based Multimodal Sentiment Analysis Model

摘要

期刊

机构

引用论文