Language-Driven Visual Data Generation for Zero-Shot HOI Detection

Pei Geng

doi:10.1109/TIP.2026.3705170

Language-Driven Visual Data Generation for Zero-Shot HOI Detection

2026-06-24

0

PRE

AI

Jian Yang (Jian Yang)

DOI：10.1109/TIP.2026.3705170

原文链接

原文求助

摘要

En 中文

零样本人-物交互（HOI）检测旨在识别图像中已见和未见交互类别的同时检测人和物体。然而，由于未见类别的训练样本缺失，现有方法往往在已见HOI上过拟合，难以泛化到未见类别。为解决此问题，我们提出一种新颖的基于语言驱动的视觉数据生成（LD-VDG）方法，该方法从未见HOI的文本语义中生成伪视觉特征。这提供了一种创新方案，无需依赖视觉样本即可实现未见HOI的泛化。具体而言，我们首先设计一个文本到视觉（T-V）适配器来对齐HOI文本和视觉特征，该适配器使用配对的图像-文本数据在已见HOI上进行训练。对于未见HOI，我们引导大型语言模型根据HOI标签生成多个细粒度文本描述，然后通过视觉-语言模型编码并经由T-V适配器转化为伪视觉特征。之后，这些伪特征与来自已见HOI的真实特征共同用于训练基于Transformer的HOI检测器。通过这种方式，我们的方法通过利用语言驱动的视觉表示，实现了未见HOI的有效识别。在标准数据集上的实验结果表明，所提出的LD-VDG优于先前的方法。特别是在各种零样本设置下，它在未见类别上取得了更优的性能。

Keyword:

Human-object interaction detection

vision-language model

large language model

Language-Driven Visual Data Generation for Zero-Shot HOI Detection

摘要

期刊

机构

引用论文