Modality as heterogeneity: Node splitting and graph rewiring for multimodal graph learning

doi:10.1016/j.neunet.2026.109557

Modality as heterogeneity: Node splitting and graph rewiring for multimodal graph learning

2026-08-27

0

PRE

AI

DOI：10.1016/j.neunet.2026.109557

原文链接

原文求助

摘要

En 中文

多模态图因其丰富的表示能力和广泛的应用性正受到越来越多的关注，但它们引入了源于严重模态混淆的重大挑战。为解决此问题，我们提出了NSG（节点分裂图）-MoE，一种将节点分裂和图重构机制与结构化专家混合（MoE）架构相结合的多模态图学习框架，明确地将专家专业化与图连通模式耦合。它将每个节点分解为模态特定的组件，并分配关系感知专家来处理异构消息流，从而在缓解通用GNN中常见的非理想混合效应的同时保留结构信息和多模态语义。在三个多模态基准上的大量实验表明，NSG-MoE始终超越强大的基线方法。尽管集成了通常计算量较大的MoE，我们的方法仍实现了有竞争力的训练效率。除实验结果外，我们提供了频谱分析，揭示NSG在模态特定子空间上执行自适应滤波，从而解释其解耦行为。此外，信息论分析表明，NSG施加的架构约束减少了数据与参数之间的互信息，提高了泛化能力。

Keyword:

Multimodal graph learning

Graph neural networks

Heterogeneous graphs

Graph mixture of experts

Modality as heterogeneity: Node splitting and graph rewiring for multimodal graph learning

摘要

期刊

机构

引用论文