Sparse adaptive graph attention network for image-text retrieval

doi:10.1016/j.neucom.2026.135213

Sparse adaptive graph attention network for image-text retrieval

2026-09-22

0

PRE

AI

DOI：10.1016/j.neucom.2026.135213

原文链接

原文求助

摘要

En 中文

精细粒度跨模态对齐仍然是图像-文本检索的核心挑战。现有的精细粒度对齐方法能够有效捕获局部区域-词语对应关系，实现比仅全局方法更精确的语义匹配。然而，其全连接机制引入了显著的计算开销，且对无关区域-词语对的噪声敏感，从而阻碍了精确对齐。为解决这些局限性，我们提出了一种稀疏自适应图注意力网络（SA-GAT），用于高效精确的图像-文本检索。我们将本研究置于精细粒度图像-文本对齐范式下，旨在推进采用相同实验协议的方法的最优性能。SA-GAT将图像区域和文本词元统一为异构图中的节点，并采用稀疏自适应邻接矩阵学习模块动态构建稀疏图结构。我们的主要创新在于三个组件的协同集成与联合优化：输入自适应双过滤图稀疏化器、跨模态图注意力传播器和监督对比目标。这一闭环设计确保稀疏化、局部对齐和全局判别性相互增强。该结构稀疏且仅保留高置信度连接。在此稀疏图上，采用多头图注意力机制聚合模内上下文信息和跨模态语义线索，实现高效精细粒度交互。此外，我们设计了监督语义对比损失（SSC Loss）以增强全局嵌入的判别力。SSC Loss显式利用真实配对标签，将批次内其他模态的所有不匹配样本视为负样本，从而增大困难负样本的距离。在两个基准数据集上的大量实验表明，SA-GAT在精细粒度对齐范式中显著优于多种最优方法。

Keyword:

Cross-modal retrieval

Image-text retrieval

Graph attention network

Contrastive learning

Fine-grained alignment

Sparse adaptive graph attention network for image-text retrieval

摘要

期刊

机构

引用论文