.png){kind=icon}
返回
Affection-Guided Bottleneck Diffusion for Missing Modality Issue in Multimodal Affective Computing
.png){kind=icon}
PRE
AI
DOI：10.1109/TAFFC.2025.3632063.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
缺失模态问题在多模态情感计算中严重阻碍了多模态学习的鲁棒性和性能，特别是在现实场景中。现有方法往往无法充分利用剩余模态，导致缺失模态的重构过程产生噪声，并产生次优结果。此外，这些方法大多依赖于设计复杂的网络来处理各种缺失场景，这阻碍了它们利用为完整多模态输入训练的原始预训练多模态网络的优势。为解决这些挑战，我们提出了Affection-guided Bottleneck Diffusion (ABDiff)方法，这是一种利用基于分数的扩散生成编码器在潜在空间中重构缺失模态的新型方法，且无需修改预训练的融合模型。通过在缺失和剩余模态内部及之间引入自注意和交叉注意机制，ABDiff在生成过程中捕获了模态特定的动态和跨模态交互。此外，引入了一个情感引导的信息瓶颈，用于过滤与任务无关的噪声和模态特定的冗余，以稳定缺失模态的生成过程。生成的表示能够无缝地与剩余模态集成到预训练的融合网络中。在四个公开的多模态情感计算数据集上的大量实验表明，ABDiff在完整和缺失模态场景下均超越了先前的方法。
Keyword:
Multimodal affective computing
missing modality issue
diffusion model
conditional generation
information bottleneck
期刊
IF:
9.8
论文数:
1.4K
被引数:
9.1K
机构
引用论文
Beneath the Tip of the Iceberg: Current Challenges and New Directions in Sentiment Analysis Research在冰山一角之下: 情感分析研究的当前挑战和新方向
OAAI
OAAI分享收藏分享收藏Learning Language-guided Adaptive Hyper-modality Representation for Multimodal Sentiment Analysis
OAAI
OAAI分享收藏Multimodal Emotion Recognition with Deep Learning: Advancements, challenges, and future directions基于深度学习的多模态情感识别: 进展、挑战和未来方向.png)
INFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏
查看更多内容