.png){kind=icon}
返回
A visual question answering model based on entity knowledge selection
.png){kind=icon}
PRE
AI
DOI：10.1007/s00530-026-02627-w.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
知识库视觉问答（VQA）的一个关键局限性在于现有模型无法从结构化知识库中提取复杂查询所需的确切知识。为解决此问题，我们提出实体知识选择（EKS）框架，该框架利用常识知识图谱中的实体关系，动态生成与视觉和文本实体相关的知识句子。EKS将知识选择表述为相关性评分问题，通过语义相似度衡量候选知识与输入问题的相关性。此外，我们引入多模态特征编码（MFE）策略，以提取与问题对齐的图像区域特征。所选知识通过知识多特征融合模块（KMF）在统一的VL-BERT框架内与视觉和语言特征融合，以进行跨模态交互。在OK-VQA数据集上的大量实验表明，我们的方法优于几种代表性的知识库VQA方法，并在不依赖超大规模语言模型的方法中达到有竞争力的性能。
Keyword:
Visual question answering
Entity knowledge selection
Entity relationship
VL-BERT
期刊
IF:
3.1
论文数:
2.8K
被引数:
2.7K
机构
引用论文
.png){kind=icon}
查看更多内容