.png){kind=icon}
返回
Multi-spectral Class Center Network for Face Manipulation Localization
.png){kind=icon}
PRE
AI
DOI：10.1145/3747296.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
随着Deepfake内容的在线传播，推进面部操纵取证已成为关键。为应对这一新兴威胁，以往方法主要侧重于研究如何区分真实与被操纵的面部图像。尽管取得了显著进展，但基于图像的分类缺乏可解释性，且仅限于特定应用场景，这促使近期研究转向像素级预测用于面部操纵取证。然而，现有的伪造定位方法在定位网络中探索基于频率的伪造痕迹方面存在局限。本文观察到，多频谱谱信息对于识别篡改区域非常有效。为此，提出了一种新颖的多谱类中心网络（MSCCNet）用于面部操纵定位。具体而言，我们设计了多谱类中心（MSCC）模块，以学习更具泛化能力和多频特征。基于不同频带特征，MSCC模块收集多谱类中心并计算像素到类的关系。应用多谱类级表示可以抑制对伪造图像被操纵区域不敏感的视觉概念语义信息。此外，我们提出了多级特征聚合（MFA）模块，以利用更多低级伪造痕迹和结构纹理。同时，我们基于像素级FF++和Dolos数据集构建了一个全面的定位基准。实验结果从定量和定性角度证明了所提MSCCNet的有效性和优越性。我们期望这项工作能激发更多关于像素级面部操纵定位的研究。代码已公开。
Keyword:
deepfake forensics
face manipulation localization
multi-spectral features
class center representation
frequency-based forgery traces
.png){kind=icon}
