Semantic-Aligned Adversarial Evolution Triangle for High-Transferability Vision-Language Attack

Xiaojun Jia

doi:10.1109/TPAMI.2025.3581476

Semantic-Aligned Adversarial Evolution Triangle for High-Transferability Vision-Language Attack

0

OA

AI

DOI：10.1109/TPAMI.2025.3581476

原文链接

原文求助

摘要

En 中文

视觉语言预训练（VLP）模型擅长解释图像和文本，但对多模态对抗样本（AEs）仍然脆弱。推进可迁移AE的生成，使其在未见模型上成功，是开发更鲁棒和实用的VLP模型的关键。以往的方法通过扩充图像-文本对来增强对抗样本生成过程中的多样性，旨在通过扩展图像-文本特征的对比空间来提高可迁移性。然而，这些方法仅关注当前AE周围的多样性，导致可迁移性提升有限。为解决这一问题，我们提出利用优化过程中对抗轨迹上的交叉区域来增加AE的多样性。具体而言，我们提出从由干净样本、历史对抗样本和当前对抗样本构成的对抗演化三角形中进行采样，以增强对抗多样性。我们提供了理论分析来证明所提出的对抗演化三角形的有效性。此外，我们发现冗余的非活跃维度可能主导相似性计算，扭曲特征匹配，使AEs模型依赖并降低可迁移性。因此，我们提出在语义图像-文本特征对比空间中生成AEs，该空间可将原始特征空间投影到语义语料库子空间。所提出的语义对齐子空间能够减少图像特征的冗余，从而提高对抗可迁移性。在多个数据集和模型上的广泛实验表明，所提出的方法能够有效提升对抗可迁移性，并超越现有的对抗攻击方法。

Keyword:

Adversarial evolution triangle

adversarial transferability

semantic-aligned

vision-language pre-training (VLP)

Semantic-Aligned Adversarial Evolution Triangle for High-Transferability Vision-Language Attack

摘要

期刊

机构

引用论文