Enhance graph alignment for large language models

Luo, Haitong

doi:10.1016/j.neunet.2026.109162

Enhance graph alignment for large language models

2026-09-29

0

PRE

AI

DOI：10.1016/j.neunet.2026.109162

原文链接

原文求助

摘要

En 中文

图结构数据在现实世界中普遍存在。最近，由于强大的涌现能力，大型语言模型（LLMs）在图建模方面显示出有前景的性能。有效应用LLMs于图的关键是将图数据转换为LLMs可以理解的格式。图到标记（Graph-to-token）方法在使LLMs处理图信息方面很流行。它们将图转换为标记序列，并通过指令调优与文本标记对齐，其中自监督指令调优帮助LLMs获取关于图的一般知识，而监督微调则使LLMs专门化于图上的下游任务。尽管取得了初步成功，我们发现现有方法存在自监督任务与监督下游任务之间的不匹配，导致自监督微调对下游任务产生负迁移。为解决这些问题，我们提出了图对齐大型语言模型（GALLM），以利用对齐的任务模板。在自监督调优阶段，我们引入了一个使用与下游任务对齐模板的新型文本匹配任务。在任务特定调优阶段，我们提出了两种类别提示方法，这些方法通过进一步对齐的模板从额外解释中学习监督信息。在四个数据集上的实验评估表明，在监督学习、多数据集泛化能力以及尤其是在零样本能力方面实现了显著改进，突显了该模型作为图基础模型的潜力。我们的代码可在匿名仓库 https://anonymous.4open.science/r/GALLM-AC54/ 获取。

Keyword:

Large language models

Graph mining

Graph foundation models

Enhance graph alignment for large language models

摘要

期刊

机构

引用论文