Multi-stage spatial temporal ensemble model with integrated learning methods for robust deepfake detection

Yassin, Warusia

doi:10.1007/s10791-026-10093-1

Multi-stage spatial temporal ensemble model with integrated learning methods for robust deepfake detection

2026-05-01

1

PRE

AI

Y

Yassin, Warusia *

A

Abdollah, Mohd Faizal

DOI：10.1007/s10791-026-10093-1

原文链接

原文求助

摘要

En 中文

深度伪造检测仍是一个重大挑战，因为现代生成模型不断减少可见伪影，且许多现有方法仅依赖空间或时序线索，限制了其鲁棒性和泛化能力。许多现有混合方法采用线性或堆叠式管道集成成熟学习模型，常导致误差传播、可解释性降低和泛化不足。与主要堆叠空间-时序学习器的先验混合方法不同，所提出的多阶段混合集成学习方法（ILM）引入了验证感知的双检测机制、独立的双路径空间-时序学习设计，以及决策层非线性集成融合策略，明确缓解了现有深度伪造检测管道中观察到的面部定位错误、时序信息稀释和误报传播问题。ILM框架通过结构化协调YOLOv5和Haar级联的面部区域定位与验证、ResNet-50的深度空间特征提取、LightGBM的帧级空间分类，以及LSTM网络的时序序列建模。空间和时序路径的输出随后通过随机森林分类器融合，实现互补证据的非线性聚合并保留可解释性。在FaceForensics ++和Celeb-DF（v2）基准数据集上的实验结果表明，ILM达到98.30%的准确率、97.90%的精确率和98.70%的召回率，优于近期最佳CNN-LSTM、ViT基和CNN-Transformer模型1-6%。消融研究证实各模块对性能稳定性和误报减少的增量贡献，表明ILM的多阶段架构而非单个算法本身的重要性。总体而言，ILM提供了一种模块化、高精度且计算高效的解决方案，适用于数字取证、媒体认证和AI治理部署。未来工作将扩展ILM以集成基于Transformer的全局编码器和可解释AI技术，以进一步提升可解释性和对新兴深度伪造模型的鲁棒性。

Keyword:

Deepfake detection

Integrated learning

YOLOv5

ResNet-50

LightGBM

LSTM

Ensemble learning

Spatial-temporal features

Multi-stage framework

Video forensics

Multi-stage spatial temporal ensemble model with integrated learning methods for robust deepfake detection

摘要

期刊

机构

引用论文