Detection Token: Detecting adversarial examples for Vision Transformers with one additional token

Yuting Tang

doi:10.1016/j.hcc.2025.100353

Detection Token: Detecting adversarial examples for Vision Transformers with one additional token

2025-09-09

0

OA

AI

DOI：10.1016/j.hcc.2025.100353

原文链接

查看原文

摘要

En 中文

作为最新的架构，Vision Transformer (ViT) 易受对抗攻击，这可能导致模型下游任务的错误。针对对抗攻击的先前防御方法往往引入显著的推理延迟或需要额外训练，从而增加防御成本。在本文中，我们为 ViT 设计了一种轻量级的对抗样本检测框架，称为 Detection Token。通过在输入 token 序列中添加一个名为检测 token 的预训练 token，该 token 在推理过程中自动收集对抗信息，并输出与模型输出一起的线性可分检测结果。我们的方法仅引入一个额外的 token，需要最小的训练开销（在 2 ∼3 轮内收敛），并在对正常任务影响最小的情况下实现高分类准确率。在 ImageNet 上的实验证明了我们方法的有效性，在三种代表性 ViTs 上对三种强攻击（FGSM、PGD、BIM）实现了 0.99 的 AUC 分数，同时正常任务的损失小于 1%。

Keyword:

Security and privacy: Social aspects of security and privacy

Software and application security

Computing methodologies: Computer vision

Vision Transformer

AI security

Detection Token: Detecting adversarial examples for Vision Transformers with one additional token

摘要

AI总结

期刊

机构

引用论文