Bimodal Predicate Refinement with Decoupled Entity-Predicate Representations for Scene Graph Generation

Guoqing Zhang

doi:10.1109/JAS.2026.125786

Bimodal Predicate Refinement with Decoupled Entity-Predicate Representations for Scene Graph Generation

2026-07-03

0

PRE

AI

DOI：10.1109/JAS.2026.125786

原文链接

原文求助

摘要

En 中文

场景图生成对于视觉理解至关重要，可以为图像描述生成、图像理解和视觉问答提供结构基础。然而，具有显著长尾分布的数据集会对模型性能产生不利影响。现有方法提出了各种融合和训练策略来解决长尾分布问题。不幸的是，许多策略往往导致谓词和实体表示的“纠缠”。这意味着谓词的表示空间与主语和宾语的表示混淆，导致模型性能欠佳。为应对这一挑战，我们引入了一种新颖的方法，称为解耦实体-谓词表示的双模态谓词精炼（BiRef）。具体而言，我们使用高斯分布初始化谓词表示，然后在视觉和语义空间中逐步精炼有效的谓词表示。然后，将精炼后的谓词信息从视觉和语义分支自适应加权融合，以获得三元组的谓词表示。在视觉基因组、GQA和开放图像数据集上进行的广泛实验表明，我们的方法实现了最先进的场景图生成性能，并有效缓解了与长尾分布相关的预测偏差问题。我们的代码已在https://github.com/gavin-gqzhang/BiRef上开源。

Keyword:

Adaptive reweighting

learnable queries

multi-modal fusion

scene graph generation

Transformer

visual-semantic bimodal

Bimodal Predicate Refinement with Decoupled Entity-Predicate Representations for Scene Graph Generation

摘要

期刊

机构

引用论文