.png){kind=icon}
返回
Error-Aware Generative Reasoning for Zero-Shot Visual Grounding
.png){kind=icon}
PRE
AI
DOI：10.1109/TMM.2025.3543062.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
零样本视觉定位是基于参照表达式识别和定位图像中对象的任务，无需特定任务的训练。现有方法采用启发式规则逐步执行视觉感知以进行视觉定位。尽管其性能显著，但仍存在两个局限性。首先，这种基于规则的方式难以处理未涵盖在预定义规则中的表达式。其次，现有方法缺乏识别和纠正不完整信息视觉感知错误的机制，导致基于不完整视觉感知结果的推理引发级联错误。在本文中，我们提出了一种针对零样本视觉定位的误差感知生成推理（EAGR）方法。为解决现有方法适应性有限的问题，提出了一种推理链生成器，该生成器提示大型语言模型（LLMs）为特定参照表达式动态生成推理链。这种生成方式消除了对人工编写启发式规则的依赖。为减轻不完整信息的视觉感知错误，提出了一种误差感知机制，以激发大型语言模型（LLMs）识别这些错误并探索纠正策略。在四个基准测试上的实验结果表明，EAGR比当前最先进的零样本方法最高提升10%，平均提升7%。
Keyword:
Large language models
referring expression comprehension
visual grounding
zero-shot learning
期刊
IF:
9.7
论文数:
4.6K
被引数:
2.4W
机构
引用论文
分享收藏Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks更快的r-cnn: 基于区域建议网络的实时目标检测
OAAI
OAAI分享收藏分享收藏Segment-Level and Category-Oriented Network for Knowledge-Based Referring Expression Comprehension.png)
IF0
PREAI
分享收藏
查看更多内容