Multi-modal parameter-efficient fine-tuning via hypergraph adapters

doi:10.1007/s40747-026-02534-7

Multi-modal parameter-efficient fine-tuning via hypergraph adapters

2026-10-05

0

OA

AI

DOI：10.1007/s40747-026-02534-7

原文链接

查看原文

摘要

En 中文

参数高效微调（PEFT）是一种在计算、内存或标注数据有限时适配视觉-语言模型的吸引人策略。然而，大多数多模态PEFT方法仍针对单个样本或成对关系操作，使得语义相关示例间共享的高阶结构在很大程度上未被利用。我们提出HGA-Net，一种超图适配器，它在联合图像-文本嵌入空间中构建小批量超图，并在适配器瓶颈内执行轻量级超图消息传递。为提高在嘈杂标题和模糊邻域下的稳定性，我们进一步引入了一种软关联形式，用相似度加权参与度替代硬超边隶属关系。我们在范围匹配的集合条件设定下评估该方法，其中推理仅聚合局部批量上下文，并额外研究了一种固定参考变体用于查询无关部署。在基于CLIP ViT-B/16和所有比较模块共享文本输入的统一冻结骨干网络接口下，HGA-Net在Flowers102上达到99.71%的top-1准确率，在Oxford-IIIT Pets上达到93.20%，同时使用1.573M适配器参数。扩展实验进一步将评估扩展到十一个识别基准测试、多种拍摄预算（1、2、4、8和16次拍摄）、批大小和批组成敏感性、固定参考推理、延迟以及更大的CLIP ViT-L/14骨干网络。这些结果表明，显式建模高阶跨样本结构可以为集合条件下的多模态适配提供有效的归纳偏差。

Keyword:

Parameter-efficient fine-tuning

Hypergraph neural networks

Hypergraph adapters

Multimodal learning

Multi-modal parameter-efficient fine-tuning via hypergraph adapters

摘要

AI总结

期刊

机构

引用论文