.png){kind=icon}
返回
Hacking reference-free image captioning metrics
.png){kind=icon}
PRE
AI
DOI：10.1007/s11704-025-50178-6.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
评估文本描述与对应图像之间的对齐是跨模态研究的基石。近年来，采用利用视觉-语言预训练模型（VLMs）的无参考方法呈现激增。实证证据表明，这些创新方法与人类判断的相关性更为紧密，代表了该领域的显著进展。然而，由于VLMs内部未知的底层判断机制，基于VLMs设计的指标可能表现出某些未识别的缺陷。为揭示无参考指标中的潜在问题，我们采用强化学习的方法来破解这些指标，引导模型生成与指标标准更对齐的句子。如果指标存在缺陷，这些不足将在生成的句子中显现。在破解实验中，我们观察到生成的句子获得了更高的指标分数，但也变得不可读。这些不一致性反映了指标本身固有的缺陷。为解决这些问题，我们提出了一种简单但有效的方法，即通过在对比学习中将存在缺陷的句子作为负样本引入，称为负文本对比学习（NTCL）。我们利用GPT-4V作为评估工具分析生成的句子，结果表明NTCL方法更稳健，并达到了最先进性能。我们希望本研究能提高社区对无参考图像字幕指标破解重要性的认识，并为更稳健指标的设计铺平道路。
Keyword:
image captioning
reference-free metric
visual-language pre-trained model
reinforcement learning
期刊
IF:
4.6
论文数:
1.6K
被引数:
2.8K
机构
引用论文
Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations视觉基因组: 使用众包密集图像注释连接语言和视觉
OAAI
.png){kind=icon}
OAAI分享收藏