Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach

doi:10.1109/TCSVT.2025.3572508

Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach

0

PRE

AI

DOI：10.1109/TCSVT.2025.3572508

原文链接

原文求助

摘要

En 中文

近年来，多媒体取证与安全领域在多任务学习应用于DeepFake（即面部伪造）检测方面取得了显著进展。主流方法是将DeepFake检测表述为一个二元分类问题，并通过以操作为导向的辅助任务进行增强。该方案侧重于学习特定于面部操作的特征，但泛化能力有限。本文深入探讨了以语义为导向的DeepFake检测多任务学习，通过联合嵌入捕捉面部语义之间的关系。我们首先提出了一种自动化数据集扩展技术，以扩展当前的面部伪造数据集，支持在全局面部属性和局部面部区域两个层面上的语义导向DeepFake检测任务。此外，我们采用面部图像与标签（由文本描述表示）的联合嵌入进行预测。这种方法消除了手动设置任务无关和任务特定参数的需求，而这通常是直接从图像中预测多个标签时的必要步骤。此外，我们采用两级优化来动态平衡各任务的保真度损失权重，使训练过程完全自动化。在六个DeepFake数据集上的大量实验表明，我们的方法提高了DeepFake检测的泛化能力，并通过提供人类可理解的解释，实现了部分模型可解释性。

Keyword:

DeepFake detection

face semantics

multitask learning

joint embedding

Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach

摘要

期刊

机构

引用论文