arrow
返回

A modular image manipulation localization framework using a dual-stream classifier and conditional diffusion models

delete2026-09-24
delete0
PRE
AI
M
Mohammad Zohaib Hamdule *
V
Venkatanareshbabu Kuppili
DOI:10.1007/s11042-026-21940-0delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
图像篡改定位(IML),即精确识别图像中篡改区域的任务,仍是一个重大挑战。传统深度学习方法在泛化和适应新篡改方案方面往往存在困难。为解决这些局限性,提出了一种新颖的两阶段IML系统。第一阶段采用双流篡改分类器,通过类似ResNet的4阶段骨干网络融合标准RGB域特征与通过Steganalysis Rich Model(SRM)滤波器提取的低层取证噪声伪影,以精确将输入图像分类为四种常见篡改类型之一:复制-移动、拼接、移除(图像修复)或增强。第二阶段将分类后的图像引导至专门的条件扩散模型(CDM),将定位任务视为图像到掩码生成问题。这些CDM以输入图像为条件,并使用结合了均方误差(MSE)和交并比(IoU)的改进损失函数进行训练,以更好地处理较小的篡改掩码并鼓励更好的空间结构。在DF2023数据集上评估,篡改分类器达到89%的准确率,定位CDM实现平均IoU为0.70和F1-Score为0.77。该系统在基准数据集上表现出竞争性性能,证实了模块化、生成式方法在应对图像伪造复杂性问题上的有效性。
Keyword:
Image Manipulation Localization
Conditional Diffusion
Dual-Stream Classifier
Image Forensics

期刊

Multimedia Tools and Applications 封面图
Multimedia Tools and Applications
IF:
3
论文数:
2.0W
被引数:
3.2W

机构

暂无机构信息
引用论文

引用论文

Photorealistic Text-To-Image Diffusion Models with Deep Language Understanding
err2022-01-01
err0
PREAI
errChan,William; Denton,Emily; Fleet,David; Ghasemipour,Kamyar; Lopes,Raphael Gontijo; Ho,Jonathan; Ayan,Burcu Karagol; Li,Lala; Norouzi,Mohammad; Saharia,Chitwan; Salimans,Tim; Saxena,Saurabh; Whang,Jay
err分享
err收藏
The spread of true and false news online网上真假新闻的传播
errSCIENCE
IF45.8
err2018-03-09
err4.1K
errOAAI
errVosoughi, Soroush; Roy, Deb; Aral, Sinan
err分享
err收藏
学者 查看更多内容