Graph-Align: Evaluating Text-to-Image Alignment with Fine-grained Graph Matching

Zhichao Yang

doi:10.1109/tcsvt.2026.3729933

Graph-Align: Evaluating Text-to-Image Alignment with Fine-grained Graph Matching

2026-09-03

0

PRE

AI

DOI：10.1109/tcsvt.2026.3729933

原文链接

原文求助

摘要

En 中文

文本到图像（T2I）生成已成为AI内容生成的关键组成部分，能够从自然语言描述中自动创建视觉内容。在这一快速发展的领域中，评估生成的图像与相关文本提示是否语义一致仍是一个重大挑战。现有方法通常采用预训练视觉-语言模型得出的隐式和整体表示，未能充分探索视觉和文本模态中的语义实体及其关系。基于上述事实，本文提出Graph-Align，一种基于图的新型T2I对齐评估模型，将T2I对齐转化为图匹配问题。具体而言，首先将生成的图像和对应的文本提示表示为由节点（实体）和边（关系）构成的图结构。在此基础上，设计了两个模块以实现细粒度图匹配：图融合（GF）和子图搜索（SS）。GF建立视觉和文本图之间的潜在语义连接。然后，SS在视觉图空间中搜索以识别与提示相关的子图区域。最后，通过计算识别出的视觉子图与文本图之间的相似度获得T2I对齐分数。在三个基准T2I对齐数据库上的广泛实验和比较证明了所提模型的优越性。代码可在https://github.com/yzc-ippl/GraphAlign获取。

Keyword:

Text-to-Image Alignment Evaluation

AI-generated images

Fine-grained graph matching

Graph-Align: Evaluating Text-to-Image Alignment with Fine-grained Graph Matching

摘要

期刊

机构

引用论文