Beyond modality importance: Reliability-guided tree memory for inductive multimodal knowledge graph completion

Jingchao Wang

doi:10.1016/j.knosys.2026.116953

Beyond modality importance: Reliability-guided tree memory for inductive multimodal knowledge graph completion

2026-09-01

0

PRE

AI

DOI：10.1016/j.knosys.2026.116953

原文链接

原文求助

摘要

En 中文

归纳多模态知识图谱补全（MKGC）旨在通过联合利用结构、文本和视觉信息来预测涉及未见实体的缺失事实。近年来，检索增强方法通过语义邻域检索提升了未见实体的推理能力，但仍面临两个关键挑战。首先，这些方法通常依赖注意力或门控机制来衡量不同模态的重要性，但模态权重无法判断当前关系下某一模态是否能可靠地区分正确实体与相似候选实体，可能导致高权重但低判别性的模态线索误导最终预测。其次，现有方法常从扁平的候选空间记忆中检索语义邻域实体，这容易引入语义相似但无关的干扰实体，进一步削弱模型区分相似候选实体的能力。为解决这些挑战，我们提出ReTree，一种面向归纳MKGC的可靠性引导树记忆框架。ReTree首先学习目标三元组的统一多模态表示，并通过关系级校准和局部候选分离评估文本、视觉和融合表示的可靠性。随后构建自适应原型基础的树记忆，将训练样本组织为关系根、原型节点和实体节点。可靠性评分进一步引导原型细化和实体分配，使各关系内的候选组织更具判别性。在推理阶段，ReTree结合树记忆的层级检索与查询局部的插入策略处理未见实体，更有效地识别相似候选。在多个归纳MKGC基准上的实验表明，ReTree在预测性能和泛化能力上均优于现有方法。

Keyword:

Knowledge graph

Multimodal knowledge graph

Knowledge graph completion

Multimodal fusion

Retrieval-based reasoning

Beyond modality importance: Reliability-guided tree memory for inductive multimodal knowledge graph completion

摘要

期刊

机构

引用论文