.png){kind=icon}
返回
Parse, Align and Aggregate: Graph-Driven Compositional Reasoning for Video Question Answering
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2026.3650864.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视频问答（VideoQA）使机器能够解释和响应复杂视频内容，推动人机交互的发展。然而，现有的多模态大型语言模型（MLLMs）往往提供不完整或模糊的解释，且现有基准主要关注最终答案的正确性，限制了对其推理过程的洞察，阻碍了透明度和可验证性。为解决这一差距，我们提出了问题解析、视频对齐和答案聚合框架（QPVA$^{3}$），该框架利用组合图来驱动VideoQA中的视觉和逻辑推理。具体而言，QPVA$^{3}$由三个核心组件组成：规划器、执行器和推理器，用于生成组合图并执行图驱动推理。对于原始问题，规划器将其解析为组合图，捕捉底层推理逻辑并将其结构化为一系列相互关联的问题。对于组合图中的每个问题，执行器通过选择相关视频片段对齐视频并生成答案，确保准确、语境特定的响应。对于每个问题及其一阶子问题，推理器通过整合推理逻辑与视觉证据聚合答案，解决冲突以生成连贯且准确的响应。此外，为评估现有MLLMs在VideoQA推理过程中的性能，我们引入了新颖的组合一致性指标，并构建了一个包含3,492个问题-视频元组的VideoQA基准（QPVA$^{3}$ Bench），每个元组均标注有详细的组合图和细粒度答案。我们在QPVA$^{3}$ Bench及另外5个VideoQA基准上评估了QPVA$^{3}$框架。实验结果表明，与基线相比，我们的框架在一致性和准确性方面均得到提升，从而构建了更透明、可验证的VideoQA系统。该方法有望推动该领域的发展，这一潜力得到了我们全面评估和基准测试工作的支持。
Keyword:
Multi-modal large language model
multimodal reasoning framework
multi-modal benchmark
compositional reasoning
video question-answering
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
Chat-UniVi: Unified Visual Representation Empowers Large Language Models with Image and Video UnderstandingChat-UniVi：统一的视觉表示使大型语言模型具备图像和视频理解能力
.png){kind=icon}
PREAI
分享收藏
Transformer-Empowered Invariant Grounding for Video Question AnsweringTransformer赋能的不变 grounding for 视频问答
PREAI
分享收藏
查看更多内容