.png){kind=icon}
返回
Data-And Knowledge-Driven Visual Abductive Reasoning
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2025.3613712.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
溯因推理寻求对部分观察结果最可能的解释。尽管溯因推理在人类日常推理中经常被使用，但在计算机视觉文献中很少被探讨。在本文中，我们提出了一项新任务，即视觉溯因推理（VAR），该任务支撑了在日常视觉情境中研究溯因推理的机器智能。给定一组不完整的视觉事件，AI系统不仅要描述观察到的内容，还要推断能够最好解释观察前提的假设。我们创建了第一个大规模VAR数据集，其中包含总计9K个示例。我们进一步设计了一个基于Transformer的VAR模型——Reasoner v2，用于知识驱动、因果链式推理。Reasoner v2首先在编码器中采用了一种上下文相关的方向性位置嵌入策略，以捕捉观察结果的因果相关时序结构，并为前提和假设生成判别性表示。然后，Reasoner v2从外部知识库中提取压缩的因果知识，以实现超越观察的推理。最后，Reasoner v2通过级联多个解码器来生成并逐步优化前提和假设句子。句子的预测分数用于指导级联推理过程中的跨句信息流。我们的VAR基准测试结果表明，Reasoner v2超越了众多知名的视频-语言模型，但与人类表现相比仍有较大差距。
Keyword:
Visual abductive reasoning
causal knowledge
multimodal transformer
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
Thinking in Patterns and the Pattern of Human Thought as Contrasted with AI Data Processing模式思维与人类思维模式，与AI数据处理形成对比.png)
Information
OAAI
InformationIF0
OAAI分享收藏分享收藏
查看更多内容