arrow
返回

MCCI: A multi-channel collaborative interaction framework for multimodal knowledge graph completion

delete2025-07-01
delete0
PRE
AI
张
张希权 (Xiquan Zhang) *
J
Jianwu Dang
Y
Yangping Wang
S
Shuyang Li
DOI:10.1016/j.ipm.2025.104156delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
多模态知识图谱补全(MKGC)旨在利用多模态信息来预测缺失的事实三元组。然而,现有的MKGC方法在很大程度上忽略了模态细节之间的异质性和交互复杂性,导致模内和模间表达失衡。为解决上述挑战,我们提出了一种新颖的多通道协同交互(MCCI)框架用于MKGC,该框架由特征编码、双流对齐和决策融合模块组成。具体而言,在编码阶段,采用基于信息过滤和视觉增强的方法来捕捉高质量的多模态特征。此外,双流对齐模块扩展了不同模态之间的潜在相关性,从而促进信息的交互频率。在融合阶段,动态分配模态权重并生成预测结果。实验结果表明,与当前最优方法相比,所提出的MCCI框架在Hits@10和MR指标上分别提升了5.7%和19.8%。
Keyword:
Knowledge graph completion
Multimodal knowledge graph
Knowledge alignment
Decision fusion

期刊

I
Information Processing and Management
IF:
6.9
论文数:
5.2K
被引数:
1.4W

机构

N
Nanjing University of Aeronautics and Astronautics
学者数:
7.4K
论文数: 3.1K
被引数: 2.4W
引用论文

引用论文

err分享
err收藏
A Text-Enhanced Transformer Fusion Network for Multimodal Knowledge Graph Completion
err2024-05-01
err0
PREAI
errWang, Jingchao; Liu, Xiao; Li, Weimin; Liu, Fangfang; Wu, Xing; Jin, Qun
err分享
err收藏
学者 查看更多内容