.png){kind=icon}
返回
SelectVision: Adaptive Vision Resolution Selection for Visual Document Understanding
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-04627-7_23.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近期大型多模态语言模型的显著进展通过有效对齐视觉和语言，极大地提升了跨模态理解能力。然而，由于文档图像具有高分辨率、密集文本和复杂布局的特点，这些方法在视觉文档理解（VDU）方面仍面临挑战，主要归因于其捕捉细粒度信息和关系的能力有限。为解决这些挑战，我们提出了一种新颖的自适应分辨率选择框架。该框架包含两个关键组件：（1）分辨率切片选择器，通过选择分辨率来捕捉文档信息密度并执行自适应补丁切片；（2）带有混合偏好优化的多阶段训练策略。后者利用偏好对来引导选择器，将高分辨率表示分配给信息密集且字体较小的区域，同时将低分辨率表示应用于冗余信息区域。该方法在保持建模效率的同时捕捉了细粒度视觉表示。凭借这些组件，SelectVision在效率和性能方面均实现了显著提升。我们的实验表明，SelectVision在包括ChartQA（84.3%）、WTQ（59.2%）和TabFact（83.9%）在内的多种评估数据集上均取得了有前景的结果。
Keyword:
Visual Token Selection
Multimodal Large Language Models
Document Understanding
期刊
D
IF:
0
论文数:
32
被引数:
0
机构
引用论文
分享收藏Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models
PREAI
分享收藏A bounding box is worth one token: Interleaving layout and text in a large language model for document understanding. arXiv preprint arXiv:2407.01976一个边界框值一个标记：在大型语言模型中交织布局和文本以进行文档理解。arXiv预印本 arXiv:2407.01976.png)
IF0
PREAI
分享收藏Kleister: Key Information Extraction Datasets Involving Long Documents with Complex LayoutsKleister：涉及长文档与复杂版面的关键信息提取数据集
OAAI
OAAI分享收藏
查看更多内容