.png){kind=icon}
返回
ToM: Boosting TextVQA by capturing text-oriented keypoints
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2026.115480.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于文本的视觉问答（TextVQA）需要识别和理解图像中的文本，这使得文本对答案推理至关重要。现有方法依赖外部OCR系统，无差别地提取文本，导致文本提取与推理脱节，且无法在推理过程中纠正识别错误。本文提出了一种新颖的面向文本的统一框架，使模型能够在推理过程中动态优化并利用与问题相关的文本。该框架将一个可训练的问题感知场景文本定位器与一个在统一优化目标下迭代优化的答案生成器相结合。文本定位器在执行全局文本提取的同时强调与问题相关的区域，并能通过推理阶段的反馈持续优化，生成比现成OCR系统更具任务导向性的文本。此外，为缓解干扰文本的影响，我们的答案生成器采用了一种传递-反馈机制，通过迭代评估候选答案来抑制无关信息。在TextVQA和ST-VQA上的大量实验证明了该框架的有效性，并在TextVideoQA上的验证表明其能够很好地泛化到视频场景。
Keyword:
TextVQA
scene text spotting
answer generation
unified framework
iterative refinement
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
暂无机构信息
.png){kind=icon}
