Alignment-Consistent Multimodal Learning under Uncertain Correspondence

Qian Li

doi:10.1109/tpami.2026.3736070

Alignment-Consistent Multimodal Learning under Uncertain Correspondence

2026-09-22

0

PRE

AI

DOI：10.1109/tpami.2026.3736070

原文链接

原文求助

摘要

En 中文

多模态学习旨在整合异构观测数据（如图像、文本、深度信息和雷达数据）以提升感知和推理能力。然而，现有的大多数多模态模型隐式假设跨模态观测数据已良好对齐，这一假设在实际场景中极少成立，因视角变化、传感器噪声、时间不同步和观测不完整等因素常导致对齐失效。此类对齐偏差会引入显著的跨模态对应不确定性，常导致特征匹配不可靠和多模态表示不稳定。本文从跨模态对应不确定性的视角重新审视多模态表示学习，并提出对齐一致性原则：不同模态中描述同一语义实体的标记应保持一致的高层表示，即使其底层对应关系模糊。基于此原则，我们提出对齐一致性多模态学习（ACML）框架，该框架显式建模概率性标记对应关系，并通过不确定性感知匹配和全局一致性对齐强制实现一致性表示。具体而言，ACML结合概率对应估计与不确定性感知最优传输以捕捉模糊的跨模态关系并抑制不可靠匹配，同时通过一致性表示学习获得模态不变表示。在包括视觉-语言理解、RGB-深度场景理解和多模态遥感分析等多样化多模态基准上的广泛实验表明，ACML在跨模态对齐偏差、模态缺失和噪声传感条件下能持续提升性能和鲁棒性。评估包含匹配机制对照、五种子统计、直接SAR-光学连接点注册、移除一重分析、校准诊断、灵敏度扫描和显式失效案例。结论明确限定：当模态间存在显著共享语义支持时，ACML能提升不确定性感知的对应关系和表示稳定性。这些结果凸显出显式建模对应不确定性为鲁棒多模态表示学习提供了原则性基础。

Keyword:

Multimodal representation learning

cross-modal correspondence

multimodal alignment

optimal transport

vision-language models

multimodal perception

Alignment-Consistent Multimodal Learning under Uncertain Correspondence

摘要

期刊

机构

引用论文