AoA: Alternating Optimization Attack for Multimodal Vision-Language Models

Chang Liu

doi:10.1109/tdsc.2026.3736415

AoA: Alternating Optimization Attack for Multimodal Vision-Language Models

2026-09-22

0

PRE

AI

DOI：10.1109/tdsc.2026.3736415

原文链接

原文求助

摘要

En 中文

视觉-语言预训练（VLP）模型在跨模态理解方面表现出卓越的能力，但它们仍然容易受到多模态对抗样本（AEs）的攻击，尤其是在黑盒迁移设置中。现有的攻击方法通常依赖静态输入变换以及图像和文本扰动之间不足的递归交互，这可能导致生成的对抗样本过拟合代理模型特有的线索，从而限制了其跨架构的迁移能力。为解决这些挑战，我们提出了交替优化攻击（AoA）框架，旨在引发深度跨模态错位。首先，我们引入多尺度随机增强（MSA），通过分层随机变换在梯度聚合前注入结构多样性，以缓解对源特定特征的过拟合。其次，我们引入了一种由新型双排斥对抗损失（DRAL）指导的交替引导策略（AGS）。与静态方法不同，AGS强制执行动态反馈循环，其中图像和文本更新相互引导彼此远离语义对齐。该策略利用双排斥避免局部最优并增强模态交互。在Flickr30K和MSCOCO上的实验表明，AoA在多个源-目标对上相比近期强基线实现了迁移性提升。AoA在CLIP排名和补充的大语言模型作为判别器的语义评估协议下，对近期大型多模态模型表现出强大的迁移性。值得注意的是，它在Gemini-2.5上达到了72.5%的CLIP排名ASR，并在平均37.8%的评估大语言模型输出中引发了语义失败。

Keyword:

Vision-Language Pre-training (VLP)

Multimodal Adversarial Attack

Adversarial Transferability

Alternating Optimization

Cross-Modal Interaction

AoA: Alternating Optimization Attack for Multimodal Vision-Language Models

摘要

期刊

机构

引用论文