.png){kind=icon}
返回
Evolution Rather Than Degradation: Structure-Guided Elastic Consensus Learning for Multimodal Knowledge Graph Completion
.png){kind=icon}
PRE
AI
DOI：10.1109/tkde.2026.3710321.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近期多模态知识图补全（MKGC）领域的研究通过对比学习取得了显著进展。然而，一个非常识性的观察表明，单纯追求跨模态共识可能会意外地降低MKGC的性能，这归因于不可靠辅助模态的整合。这种行为在此被称为模态退化，它无意中削弱了对比学习与MKGC之间的协同作用。在本文中，我们引入了一种结构引导弹性共识学习（SECL）框架。它通过可信的多模态实体表示为MKGC捕获跨模态共识。具体而言，为减少在CLIP衍生的多模态表示中观察到的语义偏差，SECL中引入了一种结构引导的多模态表示调和方法。利用不同实体的结构上下文作为协调器，该方法选择性地抑制CLIP衍生的多模态表示中的无关特征，从而促进其跨模态语义一致性。为监督这一调和过程，提出了一种弹性对比学习方法。它通过引导模型优化优先对齐困难实体的多模态表示，缓解了对跨模态共识的探索不足。在基准数据集上的大量实验表明，SECL表现出模态进化而非退化，并在性能上显著优于当前最先进的方法。
Keyword:
Multimodal knowledge graph
knowledge graph completion
contrastive learning
modality alignment
期刊
IF:
10.4
论文数:
6.8K
被引数:
3.2W
机构
引用论文
.png){kind=icon}
分享收藏分享收藏
查看更多内容