.png){kind=icon}
返回
Robust classification with multi-modal models
.png){kind=icon}
OA
AI
DOI：10.1016/j.patrec.2025.04.022.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
深度神经网络容易受到对抗样本的攻击，即精心构造的输入样本，这些样本能够使模型以高置信度做出错误的预测。为了减轻这些脆弱性，对抗训练和基于检测的防御方法已被提出，以预先增强模型。然而，这些方法大多仅关注单一数据模态，忽略了输入中视觉模式和文本描述之间的关系。在本文中，我们提出了一种新型防御方法Multi-Shield，旨在结合并补充这些防御方法，利用多模态信息进一步增强其鲁棒性。Multi-Shield利用多模态大语言模型来检测对抗样本，并在输入的文本表示和视觉表示之间缺乏对齐时，放弃不确定的分类。在六个不同数据集上的广泛评估，使用了鲁棒和非鲁棒图像分类模型，表明Multi-Shield可以轻松集成以检测和拒绝对抗样本，其性能优于原始防御方法。
Keyword:
Adversarial machine learning
Robust classification
Multimodal large language model
Multimodal information
Adversarial examples
Machine learning security
TrustworthyAI
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
3.3
论文数:
7.9K
被引数:
1.6W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容