.png){kind=icon}
返回
Propose and Rectify: A Forensics-Driven MLLM Framework for Image Manipulation Localization
.png){kind=icon}
PRE
AI
DOI：10.1109/TIFS.2026.3677584.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图像篡改技术的日益复杂化要求鲁棒的取证解决方案，这些方案能够可靠地检测篡改并精确定位篡改区域。近期多模态大型语言模型（MLLMs）通过利用世界知识和语义理解进行上下文感知检测显示出前景，但它们在感知对精确篡改定位至关重要的细微、低级取证痕迹方面存在困难。本文提出了一种新颖的“提议-修正”框架，有效连接了语义推理与特定于取证的图像分析。在提议阶段，我们的方法利用经过取证适配的LLaVA模型，基于语义理解和上下文推理生成初始篡改分析，并对可疑区域进行初步定位。在修正阶段，我们引入了一个“取证修正模块”，通过多尺度取证特征分析系统地验证和细化这些初始提议，并整合来自多个专业滤波器的技术证据。此外，我们提出一个“增强分割模块”，将关键的取证线索融入SAM的编码图像嵌入中，从而克服固有的语义偏差，实现对篡改区域的精确界定。通过协同结合先进的多模态推理与成熟的取证方法，我们的框架确保初始语义提议通过具体的技术证据得到系统验证和增强，从而实现全面的检测准确性和定位精度。广泛的实验验证表明，该框架在多样化数据集上取得了卓越的性能，具有出色的鲁棒性和泛化能力。
Keyword:
Image forensics
image manipulation detection and localization
multimodal large language model
期刊
IF:
8
论文数:
5.3K
被引数:
2.3W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容