.png){kind=icon}
返回
Temporal-based graph reasoning for Visual Commonsense Reasoning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2025.113214.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视觉常识推理（VCR）旨在回答关于给定图像的问题，同时提供解释答案为何正确的依据。大多数研究通过静态图像与答案之间的语义对齐实现了显著性能。然而，回答涉及未来时刻的时序问题，超越图像静态内容，并非易事。本文提出了一种动作感知时序图注意力网络（ATGAN），其中通过时序导向的动作推理来推断与答案对齐的未来动作。由于该网络基于多个动作构建，我们设计了一个以动词为中心的动作分割模块，通过离散论元注意力学习与动词相关联的关键论元的重要性分布，并通过连续跨度注意力学习动词周围词语的重要性分布。此外，我们提出了一个问题引导的视觉提取模块，通过问题指令突出与问题相关的视觉对象，并捕捉它们在图像中的关系。实验结果表明，ATGAN优于强大的基线模型，尤其在时序问题上表现突出。在问题回答和答案论证两个子任务上，其性能分别提升了2.88%和2.50%。
Keyword:
Visual Commonsense Reasoning
Temporal reasoning
Verb-centric action segmentation
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
Inter-subtask Consistent Representation Learning for Visual Commonsense Reasoning跨子任务一致性表示学习用于视觉常识推理
.png){kind=icon}
PREAI
分享收藏
查看更多内容