COLA: Context-Aware Language-Driven Test-Time Adaptation

Aiming Zhang

doi:10.1109/TIP.2025.3607634

COLA: Context-Aware Language-Driven Test-Time Adaptation

2025-01-01

0

PRE

AI

DOI：10.1109/TIP.2025.3607634

原文链接

原文求助

摘要

En 中文

测试时自适应（TTA）因其有效解决“分布偏移”问题并同时保护数据隐私而日益受到关注。然而，大多数现有方法假设存在一个共享相同标签空间的源域模型和目标域，这极大地限制了它们的应用范围。本文研究了一种更通用的源模型，该模型能够适应多个目标域而无需共享标签。这通过使用预训练的视觉-语言模型（VLM），例如CLIP，该模型可通过与类别描述匹配来识别图像。尽管VLM的零样本性能令人印象深刻，但它们难以有效捕捉目标域的独特属性。为此，我们提出了一种新颖的方法——基于上下文感知语言驱动的TTA（COLA）。所提出的方法整合了一个轻量级的上下文感知模块，该模块包含三个关键组件：一个任务感知适配器、一个上下文感知单元和一个残差连接单元，分别用于探索任务特定知识、VLM中的领域特定知识以及VLM的先验知识。值得注意的是，上下文感知模块可以无缝集成到冻结的VLM中，确保最小努力和参数效率。此外，我们引入了一种类平衡伪标签（CBPL）策略，以缓解类别不平衡带来的负面影响。我们证明了该方法不仅适用于TTA场景，还适用于类别泛化任务。源代码可从https://github.com/NUDT-Bai-Group/COLA-TTA获取。

Keyword:

Test-time adaptation

vision-language model

domain adaptation

COLA: Context-Aware Language-Driven Test-Time Adaptation

摘要

期刊

机构

引用论文