BHGraphAdapter: Parameter-Efficient VLMs Tuning Meets Hyper-Graph Learning

Xixi Wang

doi:10.1109/TCSVT.2026.3663352

BHGraphAdapter: Parameter-Efficient VLMs Tuning Meets Hyper-Graph Learning

2026-02-10

0

PRE

AI

DOI：10.1109/TCSVT.2026.3663352

原文链接

原文求助

摘要

En 中文

基于适配器的视觉-语言模型（VLMs）微调方法在有限数据场景下的特征适应中已展现出有前景的性能。然而，现有的适配器通常要么采用参数化变换进行多模态特征精炼，要么利用类别间的成对关系（即GraphAdapter）进行文本增强，这忽略了适应过程中数据样本间的固有高阶相关性。在本文中，我们首次提出利用每个小批量内视觉样本的高阶关系来微调VLMs，并开发了一种新颖的Batch HyperGraph Adapter（BHGraphAdapter）来微调VLMs。BHGraphAdapter的核心思想是通过捕获每个小批量内不同样本的固有高阶语义信息来进行特征适配器学习，从而能够充分利用适应过程中的复杂上下文信息。具体而言，我们首先构建一个Batch HyperGraph（BHGraph）来建模每个小批量内样本的高阶相关性。然后，我们在BHGraph上引入一个信息传播模块，通过聚合其高阶邻居的信息来更新节点嵌入，从而捕捉语义关系以丰富特征表示。最后，我们将所提出的BHGraph学习整合到预训练的CLIP框架中，以实现下游任务的特征适应。在11个基准数据集上的广泛实验表明，我们提出的BHGraphAdapter优于现有的SOTA适配器调优方法。源代码和数据将在https://github.com/LiuMeilin7195/BHGraphAdapter发布。

Keyword:

Parameter-efficient tuning

CLIP

few-shot image classification

hypergraph learning

BHGraphAdapter: Parameter-Efficient VLMs Tuning Meets Hyper-Graph Learning

摘要

期刊

机构

引用论文