.png){kind=icon}
返回
Multimodal sentiment analysis based on expert feature-aligned diffusion under uncertain image modality
.png){kind=icon}
PRE
AI
DOI：10.1093/comjnl/bxaf110.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态情感分析利用不同类型的信息来提升情感识别效果，推动自然语言处理与计算机视觉交叉领域的研究。然而，实际应用中常因收集限制、隐私保护等问题导致图像模态数据缺失，从而降低情感分析的准确性。近年来，扩散模型作为一种新兴的生成模型，在处理模态补全和生成任务方面展现出显著能力。为此，本文提出了一种集成课程学习的专家特征对齐扩散模型（EFADM），旨在通过动态生成缺失模态数据并优化模态间的特征对齐，高效解决多模态情感分析任务。EFADM包含三个主要模块：自适应噪声抑制模块（ANSM）、专家对齐模块（EAM）以及基于课程学习的渐进生成框架。首先，ANSM在扩散过程中动态调整噪声抑制，以提升生成特征的质量。EAM通过专家特征对齐强化生成模态与现有模态之间的语义一致性。此外，采用课程学习的渐进生成策略逐步增加任务难度，从而优化模型在不同噪声水平下的性能。与现有方法相比，所提方法在公开的MVSA系列数据集上取得了领先性能。
期刊
C
IF:
1.5
论文数:
103
被引数:
0
机构
引用论文
Modality translation-based multimodal sentiment analysis under uncertain modalities不确定模态下基于模态翻译的多模态情感分析.png)
INFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏分享收藏Efficient Multimodal Transformer With Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis具有双层特征恢复的高效多模态变压器，用于鲁棒的多模态情感分析
OAAI
OAAI分享收藏分享收藏
查看更多内容