QC 2-VQG: Question context complement for visual question generation

doi:10.1016/j.knosys.2025.114306

2025-08-20

PRE

DOI：10.1016/j.knosys.2025.114306

原文链接

原文求助

摘要

En 中文

视觉问题生成（VQG）是一项关键的多模态理解任务，涉及根据给定图像及其关联文本信息生成类人问题。现有的大多数研究具有答案感知性，主要关注建模答案与其相关视觉区域之间的复杂关系。然而，我们观察到这些方法忽视了问题上下文（例如图像描述和视觉实体），而这对于大量问题的生成至关重要，导致难以生成预期的问题。为解决此问题，我们提出了一种新颖策略，通过补充与图像相关的问题上下文来生成问题。其核心动机在于，问题上下文能够弥合视觉理解与问题生成之间的任务鸿沟。因此，我们提出了QC 2-VQG，该模型能够自动捕获视觉信息并将其转换为文本问题上下文，以支持答案感知的问题生成。在两个广泛使用的基准数据集上的大量实验表明，QC 2-VQG在各项评估指标上均优于当前最佳方法（SOTA），凸显了其在生成高质量、上下文相关的类人问题方面的有效性。

Keyword:

Visual Question Generation

Question Context

Answer-aware

Image Description

Vision-Language Understanding