Multi-modal adapter for AI-generated image detection

Guo, Ying

doi:10.1016/j.cviu.2026.104900

Multi-modal adapter for AI-generated image detection

2026-08-01

0

PRE

AI

DOI：10.1016/j.cviu.2026.104900

原文链接

原文求助

摘要

En 中文

随着易于获取的图像生成技术的出现，现已能够按需生产高度逼真的人工视觉内容，对数字内容的真实性和安全性构成严重威胁。目前，最先进的方法通常涉及使用大型预训练视觉-语言模型，如CLIP。近期研究表明，可采用轻量级适配方法进一步提升CLIP的性能。适配器调优作为一种简单高效的视觉-语言模型微调方法，已被广泛应用。然而，当前研究主要关注视觉适配器的调优，忽视了跨模态图像-文本对之间的互补信息和相关性。本研究提出了一种多模态适配器结构以解决这些问题。具体而言，我们提出了两种适配器类型：隐式多模态双适配器（MMDA）和显式多模态伪造感知适配器（MMFA）。MMDA整合了文本适配器和图像适配器，形成对称结构以实现跨模态对齐。在此基础上，我们提出MMFA，该适配器通过融合空间域和频域信息，专门设计用于学习潜在伪造痕迹。此外，通过采用掩码多头注意力机制，MMFA借助可训练的多头注意力层实现视觉和文本特征的深度交互与融合。这一设计不仅有效保留了CLIP固有的跨模态对齐特性，还增强了多模态表示间的语义交互，从而提升泛化能力。在多个合成数据集上进行的大量实验表明，我们提出的适配器在提升AI生成图像检测泛化能力方面始终优于当前最先进方法。

Keyword:

Multi-modal adapter

Fake aware

Cross-modal interaction

Generalization capability

Synthetic datasets

Robustness

Multi-modal adapter for AI-generated image detection

摘要

期刊

机构

引用论文