Advancing Zero-Shot Adversarial Robust Fairness: Theory and Algorithm

doi:10.1109/tpami.2026.3735010

Advancing Zero-Shot Adversarial Robust Fairness: Theory and Algorithm

2026-09-17

0

PRE

AI

DOI：10.1109/tpami.2026.3735010

原文链接

原文求助

摘要

En 中文

视觉语言模型（VLMs）在下游任务中表现出强大的零样本泛化能力。然而，它们仍然极易受到人类几乎无法察觉的对抗性扰动的影响。尽管近期研究提出了各种防御技术以增强VLMs的平均对抗鲁棒性，但很少关注鲁棒性中的类别差异这一关键问题，我们称之为“零样本鲁棒公平性”。在本工作中，我们从理论和实证角度全面分析了基于CLIP模型的鲁棒公平性，并识别出类间分离度降低和类内分散度增加是导致类别间鲁棒性不一致的关键因素。为克服上述两个挑战，我们采用了von Mises-Fisher（vMF）分布来表征高维空间中的数据集中性。具体而言，我们使用vMF量化特征关系，并提出两种定制损失函数，通过鼓励类间分离和增强类内紧致性来缓解类别差异。所提出的方法具有模块化特性，可以无缝集成到现有的对抗微调流程中。在15个下游基准数据集上的广泛实验表明，我们的方法在零样本设置下同时提升了VLMs的对抗鲁棒性和公平性，从而展示了其通用性和有效性。

Keyword:

Vision-language model

adversarial robustness

adversarial fairness

zero-shot generalization

Advancing Zero-Shot Adversarial Robust Fairness: Theory and Algorithm

摘要

期刊

机构

引用论文