Dual-Tower Multimodal Entity Linking with Deep Interaction

doi:10.1016/j.ipm.2026.105041

Dual-Tower Multimodal Entity Linking with Deep Interaction

2026-07-01

0

PRE

AI

DOI：10.1016/j.ipm.2026.105041

原文链接

原文求助

摘要

En 中文

多模态实体链接将文本和图像中的指称映射到知识库实体；然而，现有方法在可扩展性和准确性之间存在权衡。深度交互模型通过成对计算提供鲁棒的消歧，但随着知识库的扩展，在线匹配成本呈线性增长。相比之下，检索流水线以错误累积为代价提供更好的可扩展性。为解决此困境，我们提出DTMEL（具有深度交互的双塔多模态实体链接），它在指称/实体编码器内嵌入跨模态推理，而非跨指称-实体对。该方法在保持深度塔内交互的同时，通过离线实体索引实现向量相似度匹配。我们的双编码器框架整合了三个关键组件：带门控路由的专家混合模型用于样本自适应特征提取、塔内跨模态注意力促进每个编码器内的细粒度文本-图像对齐，以及模态鲁棒性约束结合训练时的dropout与推理时的通道注意力以缓解单模态偏差。框架通过温度缩放对比学习与辅助损失进行端到端优化。在包含超过47,000个句子和400,000个知识库实体的WikiDiverse、RichpediaMEL和WikiMEL基准上评估，DTMEL实现了较强的准确率-效率平衡：在WikiDiverse上达到86.22%的MRR，在RichpediaMEL上达到88.29%的MRR，在WikiMEL上达到90.00%的MRR，而在评估的知识库上的在线推理仅需约2毫秒/查询。消融研究证实了各组件的必要性，可解释性分析揭示了专家间的涌现功能专门化以及自适应模态加权模式。我们的模型可在https://github.com/sim1n999/DTMEL获取。

Keyword:

Multimodal entity linking

Dual-tower architecture

Cross-modal fusion

Mixture of experts

Adaptive channel attention

Dual-Tower Multimodal Entity Linking with Deep Interaction

摘要

期刊

机构

引用论文