返回
MCCI: A multi-channel collaborative interaction framework for multimodal knowledge graph completion
DOI:10.1016/j.ipm.2025.104156.png)
摘要
En 中文
多模态知识图谱补全(MKGC)旨在利用多模态信息来预测缺失的事实三元组。然而,现有的MKGC方法在很大程度上忽略了模态细节之间的异质性和交互复杂性,导致模内和模间表达失衡。为解决上述挑战,我们提出了一种新颖的多通道协同交互(MCCI)框架用于MKGC,该框架由特征编码、双流对齐和决策融合模块组成。具体而言,在编码阶段,采用基于信息过滤和视觉增强的方法来捕捉高质量的多模态特征。此外,双流对齐模块扩展了不同模态之间的潜在相关性,从而促进信息的交互频率。在融合阶段,动态分配模态权重并生成预测结果。实验结果表明,与当前最优方法相比,所提出的MCCI框架在Hits@10和MR指标上分别提升了5.7%和19.8%。
Keyword:
Knowledge graph completion
Multimodal knowledge graph
Knowledge alignment
Decision fusion
期刊
I
IF:
6.9
论文数:
5.2K
被引数:
1.4W
机构
引用论文
Explainable Knowledge reasoning via thought chains for knowledge-based visual question answering基于思维链的可解释知识推理,用于基于知识的视觉问答
Hyper-node Relational Graph Attention Network for Multi-modal Knowledge Graph Completion用于多模态知识图谱补全的超节点关系图注意力网络
Toward Subgraph-Guided Knowledge Graph Question Generation With Graph Neural Networks用图神经网络实现子图引导的知识图谱问题生成
ESGNet: A multimodal network model incorporating entity semantic graphs for information extraction from Chinese resumesESGNet: 结合实体语义图的多模态网络模型,用于从中文简历中提取信息

