.png){kind=icon}
返回
SuperCap: Multi-resolution Superpixel-Based Image Captioning
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-4398-4_1.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图像描述生成领域长期以来一直致力于摆脱对目标检测的依赖。我们研究了使用超像素与视觉语言模型（VLMs）相结合来弥合基于检测器的描述生成架构与仅在大数据集上进行预训练的架构之间的差距。我们新颖的超像素方法确保模型能够接收类目标特征，而VLMs的使用为我们的模型提供了开放集目标理解能力。此外，我们扩展了我们的架构以利用多分辨率输入，使模型能够以不同细节级别查看图像，并使用注意力机制来确定哪些部分对描述最为相关。我们通过多种VLMs和一系列消融实验来展示我们模型的表现，详细说明了不同架构选择的影响。我们的完整模型在COCO Karpathy数据集划分上达到了136.9的竞争性CIDEr分数。
Keyword:
Image Captioning
Vision-Language
Superpixels
期刊
P
IF:
0
论文数:
29
被引数:
0
机构
引用论文
.png){kind=icon}
查看更多内容