MRF: A Modality-Resilient Framework for Handling Missing Modalities in Multimodal Learning

doi:10.1007/978-981-95-3346-6_2

MRF: A Modality-Resilient Framework for Handling Missing Modalities in Multimodal Learning

2026-01-01

0

PRE

AI

DOI：10.1007/978-981-95-3346-6_2

原文链接

原文求助

摘要

En 中文

多模态学习通过整合文本和非文本数据来提升理解和生成能力，已成为人工智能领域的关键进展。然而，训练过程中缺失模态的挑战常导致性能下降，从而限制了这些模型在实际场景中的应用。本文针对多模态学习中的缺失模态问题提出了一套综合解决方案。我们引入了模态鲁棒框架（MRF），该框架整合了模态不变特征学习、跨模态注意力机制以及利用跨模态关系的先进插补策略。在基准数据集上的大量实验表明，所提出的框架不仅优于现有方法，还在面对不完整模态输入时显著增强了鲁棒性。

Keyword:

Multimodal Learning

Missing Modality

Cross-Modal Attention

MRF: A Modality-Resilient Framework for Handling Missing Modalities in Multimodal Learning

摘要

期刊

机构