Exploiting Shared Adversarial Features for Dynamic Attacks in Large Vision-Language Models

Yaguan Qian

doi:10.1109/TIFS.2025.3648873

Exploiting Shared Adversarial Features for Dynamic Attacks in Large Vision-Language Models

2026-01-01

0

PRE

AI

DOI：10.1109/TIFS.2025.3648873

原文链接

原文求助

摘要

En 中文

随着大型语言模型（LLMs）的快速发展，越来越多的大型视觉-语言模型（LVLMs）在响应生成方面取得了前所未有的性能。近期研究表明，LVLMs易受对抗性攻击。然而，许多现有方法由于过度强调特定特征而倾向于对源模型过拟合，这损害了它们的迁移能力。其他方法则因特征区分不足而导致攻击效果减弱。在本文中，我们提出了一种基于迁移的黑盒非目标攻击方法——共享对抗特征（SAF）动态攻击。通过探索LVLMs的特征提取模式，我们识别出各种模型间共享且最易受对抗攻击的特征并加以干扰。此外，由于LVLMs强大的注意力机制，即使在主要特征被干扰的情况下，它们仍能从扰动图像中提取相似语义。我们设计了一种动态更新策略以应对此挑战。最后，从SAF的角度出发，我们对LVLMs中视觉编码器和投影器内的漏洞进行了深入分析，并发现攻击投影器在不同架构的异构模型间展现出更强的迁移能力。大量实验表明，与现有方法相比，我们的方法在跨不同模型、数据集和任务上均表现出更优越的攻击性能。

Keyword:

Adversarial example

black-box attack

model robustness

large visual-language model

model security

Exploiting Shared Adversarial Features for Dynamic Attacks in Large Vision-Language Models

摘要

期刊

机构

引用论文