.png){kind=icon}
返回
Deep Information-Balanced Multimodal Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/tpami.2026.3681770.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态学习旨在整合多样化的数据源以捕捉更全面的事物信息，从而增强对现实世界的感知和理解。然而，不同模态间的固有差异往往导致多模态学习过程中出现优化不平衡，阻碍性能提升。为解决此问题，本文提出一种基于信息论的多模态信息平衡（MIB）理论，揭示该不平衡源于模态融合过程中互补信息的保留失衡，为问题提供了直观且可解释的视角。基于此见解，我们提出一个理论上的MIB准则，以自适应地平衡各模态间互补信息的保留，从而促进多模态融合。利用该准则，我们开发了一个信息平衡多模态学习（IBML）框架，以挖掘全面且平衡的多模态信息，实现最优学习。具体而言，IBML引入平衡信息优化（BIO）模块，根据模态间的优化差异最大化源自MIB准则的可计算下界目标，确保互补信息的平衡保留并增强多模态融合中的信息贡献。此外，我们基于MIB准则提出一个补充且可证明的任务复杂度调节（TCM）模块，以调整输入模态间的任务复杂度差异，从而间接促进学习过程中互补信息的平衡保留。我们在八个多模态数据集上进行了广泛实验，涵盖视听识别、图文分类和2D-3D识别，以验证IBML的优越性和有效性。
Keyword:
Multimodal learning
multimodal balanced optimization
multimodal fusion
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
Secure Distributed/Federated Learning: Prediction-Privacy Trade-Off for Multi-Agent System安全分布式/联邦学习：多智能体系统中的预测-隐私权衡
OAAI
OAAI分享收藏Enhancing the feature representation of multi-modal MRI data by combining multi-view information for MCI classification.png)
NEUROCOMPUTING
NEUROCOMPUTINGIF6.5
PREAI
分享收藏分享收藏
查看更多内容