Attacking hard-label large vision-language models with model-sensitive adversarial patch designs

doi:10.1016/j.patcog.2026.114261

Attacking hard-label large vision-language models with model-sensitive adversarial patch designs

2026-06-01

0

PRE

AI

DOI：10.1016/j.patcog.2026.114261

原文链接

原文求助

摘要

En 中文

大型视觉语言模型（LVLMs）在处理多模态下游任务方面表现出卓越能力，应用日益广泛。然而，近期研究表明LVLMs易受到有意和无意攻击。现有攻击方法通常利用反向传播梯度优化对抗扰动，但实际应用中LVLM不会提供梯度或模型细节，因此这些方法在现实场景中可扩展性受限。针对这一研究空白及反实践现象，我们提出一种名为HardPatch的新型硬标签攻击方法，仅通过查询模型生成视觉对抗补丁。该方法为探究LVLM在局部视觉区域的脆弱性及在实用而具挑战性的硬标签设定下生成相应对抗替换提供了深入见解。具体而言，我们首先将每张图像分割成均匀补丁并逐一遮盖，以评估其对LVLM模型的敏感性。随后，根据敏感度得分降序，迭代选择最脆弱补丁初始化噪声，并通过添加随机噪声估计梯度进行优化。以此方式，多个补丁被扰动直至修改后的图像满足对抗条件。我们通过广泛评估LVLM模型和数据集来验证HardPatch的对抗性质。实证观察表明，通过适当的补丁替换和优化，HardPatch能够构造有效的对抗图像攻击硬标签LVLMs。

Keyword:

Large vision-language model

Adversarial patch

Hard-label attack

Perturbation optimization

Attacking hard-label large vision-language models with model-sensitive adversarial patch designs

摘要

期刊

机构

引用论文