Sequential translation-based multimodal sentiment analysis under uncertain missing modalities

doi:10.1038/s41598-026-46910-2

Sequential translation-based multimodal sentiment analysis under uncertain missing modalities

2026-05-07

0

OA

AI

DOI：10.1038/s41598-026-46910-2

原文链接

查看原文

摘要

En 中文

多模态情感分析（MSA）旨在融合多模态信息以实现精确的情感分类。近年来，不确定缺失模态的问题已成为MSA中的新挑战。先前研究尝试通过构建由两种模态组成的模态对上的信息交互来解决这一问题。然而，现有方法通常依赖成对模态间的交互来补偿缺失信息，但由于缺乏第三模态的指导，此类表示难以准确重构真实的跨模态语义。此外，现有方法忽视了文本模态的有效利用，且模型复杂度相对较高。为解决上述问题，我们提出了一种基于序列翻译的MSA模型（STMSA）。该模型包含两项关键设计。首先，以文本为中心的双向翻译机制利用文本模态在情感任务中的主导作用，依次与音频和视频模态建立双向映射。该机制通过文本的语义指导充分探索三种模态间的深层联系，生成更贴近真实情感分布的跨模态表示。其次，低复杂度非模态补全架构仅使用编码器-解码器，在共享空间中对联合表示进行分布式拟合，从而避免了复杂的缺失模态生成过程。在CMU-MOSI和IEMOCAP两个公开数据集上的大量实验表明，所提出的模型优于10种最先进的基线模型。

Keyword:

Multimodal Sentiment Analysis

Missing Modalities

Text-Centric

Bidirectional Translation

Low-Complexity Model

Sequential translation-based multimodal sentiment analysis under uncertain missing modalities

摘要

AI总结

期刊

机构

引用论文