.png){kind=icon}
返回
Retrieving and Reading Multimodal Documents for Knowledge-Based VQA
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-3349-7_7.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于知识库的可视化问答（VQA）旨在通过引入相关的外部知识来增强VQA系统，以回答视觉锚定的问句。解决此任务的关键在于从数据库中检索正确的知识。当前的检索增强VQA（RA-VQA）研究主要关注检索纯文本知识，忽略了知识中伴随图像的信息。为解决此局限性，我们提出将知识检索扩展到多模态文档。此外，RA-VQA系统面临的另一挑战是检索到的知识并非总是可靠或有效，而训练数据中包含的知识被假设为正确。为解决此类知识不一致问题，我们引入了一种平衡训练策略以增强鲁棒性。最后，我们提出RA-VQA+，一种基于强大多模态大语言模型的创新系统，包含两个关键组件：（1）一个能够有效捕捉多模态查询和文档间相关性的知识检索器；（2）一个能够稳健处理前k个检索到的知识的答案生成器。我们在广泛使用的基准数据集（即E-VQA和InfoSeek）上进行了大量实验。我们的多模态检索器显著提升了知识检索性能。我们的最终VQA模型取得了新的最佳结果。
Keyword:
Large Language Model
Multimodal Retrieval
Visual Question Answering
Retrieval Augmented Generation
期刊
N
机构
引用论文
.png){kind=icon}
Wiki-LLaVA: Hierarchical Retrieval-Augmented Generation for Multimodal LLMsWiki-LLaVA：多模态LLM的分层检索增强生成
PREAI
分享收藏
查看更多内容