.png){kind=icon}
返回
Towards multimodal graph large language model
.png){kind=icon}
PRE
AI
DOI：10.1007/s11432-025-4627-3.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态图通过整合多样化的多模态特征和关系，在现实应用中无处不在。然而，现有的多模态图学习方法通常针对特定图数据和任务从头训练，无法在各类多模态图数据和任务间泛化。为弥合这一差距，我们探索了多模态图大语言模型（MG-LLM）在统一和泛化各类多模态图数据与任务方面的潜力。我们提出了一种统一的多模态图数据、任务和模型的框架，揭示了多模态图固有的多粒度和多尺度特性。具体而言，我们提出了MG-LLM的五个关键期望特性：(1) 统一空间用于多模态结构和属性，(2) 处理多样化多模态图任务的能力，(3) 多模态图情境学习，(4) 多模态图与自然语言交互，(5) 多模态图推理。随后，我们阐述了关键挑战，回顾了现有文献，并强调了实现这些雄心特性有前景的未来研究方向。最后，我们总结了现有适用于模型训练的多模态图数据集。我们相信，本文能为推动MG-LLM在跨多模态图数据和任务泛化方面的研究进展做出贡献。
Keyword:
multimodal graph
large language model
foundation model
graph machine learning
multimodality
