.png){kind=icon}
返回
Consistent multimodal pre-training for visual tokenization
.png){kind=icon}
PRE
AI
DOI：10.1007/s11432-024-4603-x.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态大型语言模型（MLLMs）最近在理解多样化视觉上下文方面取得了显著进展。然而，这些大型视觉-语言连接模型的总体性能与低分辨率的较小视觉-语言预训练（CLIP）模型高度相关。目前，这种嵌套的视觉-语言对齐范式阻碍了为特定领域多模态任务（例如OCR和文档感知）开发独立的视觉基础模型。在本文中，我们探索了一种原生的、高分辨率的视觉基础模型，该模型专门为图像级和区域级多模态语言任务设计，明确替代了低分辨率的CLIP模型。具体而言，我们介绍了TAP-v2，一种新颖的视觉分词器，它编码通用上下文信息以实现跨多样化视觉内容的全面感知。
Keyword:
foundation model
multimodal
representation learning
visual tokenization
期刊
IF:
7.6
论文数:
4.9K
被引数:
8.9K
机构
引用论文
暂无论文信息