返回
Explainable Spatio-Temporal Attention Framework for GAN-Based Deepfake Detection
DOI:10.3390/electronics15184343.png)
摘要
En 中文
生成对抗网络(GANs)的快速发展使得合成媒体异常逼真,并催生了对网络安全、数字世界信任和信息完整性造成危害的深度伪造技术。当前深度伪造检测技术的最新进展面临若干问题,例如在多种篡改方法和压缩媒体上的泛化能力有限,以及时空学习能力不足。为解决这些问题,本研究开发了一种新颖的方法,该方法整合了一个强大的时空学习模型,采用Extreme Inception Network(XceptionNet)架构提取空间特征,使用双向长短时记忆(BiLSTM)网络进行时序序列学习,并引入时序注意力机制进行自适应帧分析。所提出的解决方案在流行的FaceForensics++数据集上进行了测试,该数据集包含多种基于GAN的篡改类型,如DeepFakes、Face2Face、FaceSwap、FaceShifter和NeuralTextures。结果表明,在二分类和多分类任务中均实现了更高的准确性,并借助可解释人工智能工具,如梯度加权类激活映射(Grad-CAM)和谢林加性解释(SHAP)。
Keyword:
deepfake detection
Generative Adversarial Networks (GANs)
spatio-temporal learning
temporal attention
Explainable Artificial Intelligence (XAI)
FaceForensics++, computer vision
digital forensics
deep learning
multimedia security
期刊
IF:
2.6
论文数:
1.0W
被引数:
4.7W
机构
引用论文
Analysis of Tree-Family Machine Learning Techniques for Risk Prediction in Software Requirements
IEEE ACCESS
IF3.6
Advancements in detecting Deepfakes: AI algorithms and future prospects − a review深度伪造检测的进展:AI算法与未来展望——综述
An Investigation into the Utilisation of CNN with LSTM for Video Deepfake Detection基于CNN与LSTM的视频深度伪造检测应用研究
Generative Artificial Intelligence and the Evolving Challenge of Deepfake Detection: A Systematic Analysis生成式人工智能和Deepfake检测的不断发展的挑战: 系统分析
Emergence of deepfakes and video tampering detection approaches: A surveydeepfakes和视频篡改检测方法的出现: 一项调查

