ML-LQI: A multi-modal learning method for low-quality imbalanced modality data with interpretability

Fuyuan Zhao

doi:10.1016/j.knosys.2025.114991

ML-LQI: A multi-modal learning method for low-quality imbalanced modality data with interpretability

2025-11-26

0

PRE

AI

DOI：10.1016/j.knosys.2025.114991

原文链接

原文求助

摘要

En 中文

多模态学习通过整合来自多种模态的信息来增强模型的感知和决策能力。然而，多模态数据通常存在低质量和失衡问题，如由传感器误差、环境干扰和传输损失引起的噪声、不完整性和信息差异。现有方法通常仅处理一种类型的低质量失衡，过度依赖高质量模态，采用有限的特征提取策略，且难以缓解跨模态分布差异和语义偏差，从而阻碍融合性能。此外，大多数方法缺乏模态贡献的动态量化和可解释性。为解决这些问题，本文提出了一种针对低质量失衡模态数据且具有可解释性的多模态学习方法（ML-LQI）。设计了一个带有基于梯度惩罚的跨模态增强模块的条件Wasserstein生成对抗网络，通过对抗训练生成与强模态分布对齐的增强弱模态样本，从而缓解模态失衡。开发了一个基于Transformer的跨模态融合模块，通过整合局部和全局特征以及利用双向跨模态注意力捕捉跨模态交互，提升感知和表征能力。基于模态注意力权重机制的适应器根据各模态的语义贡献动态调整融合权重，实现在统一语义空间中的高效融合与协同学习。最后，一个基于DeepSHAP的模态贡献评分模块量化不同模态的实际贡献，识别和分析低质量失衡，并增强决策过程中的可解释性。在三个公开数据集上的广泛实验表明，与当前最先进的方法相比，ML-LQI在性能、鲁棒性和可解释性方面具有显著优势。

ML-LQI: A multi-modal learning method for low-quality imbalanced modality data with interpretability

摘要

期刊

机构

引用论文