.png){kind=icon}
返回
Retrieval-based objects and relations prompt for image captioning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.engappai.2026.114518.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图像描述生成旨在以开放式方式为输入图像生成自然语言描述。为了准确生成与图像相关的描述，图像描述生成的一个关键步骤是识别图像中的物体并理解它们之间的关系。现代方法通常利用物体检测器，或结合检测器与图卷积网络（GCNs）。然而，这些模型存在检测信息冗余、GCNs构建困难以及训练成本高等问题。为解决这些问题，提出了一种基于检索的物体和关系提示的图像描述生成方法（RORPCap），其灵感来源于图像-文本检索可以为输入图像提供丰富的语义信息。RORPCap采用物体和关系提取模型从图像中提取物体和关系词。这些词随后被整合到预定义的提示模板中，并编码为提示嵌入。接下来，设计了一个基于Mamba的映射网络，以快速将对比语言-图像预训练模型提取的图像嵌入映射为视觉-文本嵌入。最后，将得到的提示嵌入和视觉-文本嵌入拼接，形成文本增强的特征嵌入，并将其输入GPT-2模型进行描述生成。在广泛使用的MS-COCO数据集上进行的大量实验表明，RORPCap在交叉熵损失训练下仅需2.6小时，在‘Karpathy’测试分割上实现了120.5%的CIDEr得分和22.0%的SPICE得分。RORPCap以最短的训练时间实现了与基于检测器和基于GCN的模型相当的性能指标，并展示了其作为图像描述生成替代方案的可能性。源代码可访问：https://github.com/jinjinggu00/RORPCap。
Keyword:
Image captioning
Object and relation extraction
Prompt-based learning
Mamba-based mapping
Contrastive Language-Image Pre-training
期刊
IF:
8
论文数:
5.7K
被引数:
3.5W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容