返回
EAI-DMCU: Evolutionary algorithm-inspired diffusion model for concept unlearning
DOI:10.1016/j.eswa.2026.132466.png)
摘要
En 中文
文本到图像(T2I)模型是指基于文本提示生成图像的模型。扩散模型是目前预训练T2I模型中最突出的类别。然而,预训练T2I扩散模型中不希望的概念“知识”在文本提示引导下可能导致生成侵犯版权、冒犯性或有害内容,带来伦理挑战。为此,提出了概念遗忘任务,要求模型不仅无法生成不希望的目标概念(即遗忘有效性),还要保留其他非目标概念的生成保真度(即先验保留)。现有方法在遗忘目标概念时往往显著降低非目标概念的生成保真度,揭示了先验保留的显著不足。受进化算法启发,我们从定向选择的角度解释扩散模型中的概念遗忘任务。概念遗忘任务可被视为在满足群体选择特定要求的高维连续空间中进行的进化过程。因此,在概念遗忘任务中,非目标概念的先验保留能力取决于进化过程中非目标概念特征的保留。借鉴进化算法分析的见解,我们提出了一种新的概念遗忘方法,称为EAI-DMCU。我们将EAI-DMCU分为迭代进化阶段和定向选择阶段。在迭代进化阶段,EAI-DMCU保持目标概念上下文的交叉注意力图不变性,在保留其语义的同时保留非目标特征,最终提升其先验保留。在定向选择阶段,设计了一种特征空间解耦损失,以无监督方式分离输入提示中的目标和非目标概念,从而提高保留与丢弃个体的区分度,增强EAI-DMCU的遗忘有效性。通过这一过程,EAI-DMCU引导扩散模型的参数更新以实现概念遗忘目标。实验结果表明,EAI-DMCU在五种概念遗忘任务(物体、艺术风格、名人、角色和裸露内容)中表现出优越性能,验证了所提出方法的有效性。
Keyword:
concept unlearning
diffusion models
evolutionary algorithms
text-to-image generation
prior preservation
期刊
IF:
7.5
论文数:
2.9W
被引数:
10.2W
机构
引用论文
Dual-space high-quality individual knowledge-driven surrogate-assisted multi-objective evolutionary algorithm with heterogeneous offspring generation双空间高质量个体知识驱动的代理辅助多目标进化算法,具有异质子代生成机制
ODS-EA: An objective to decision space-based evolutionary algorithm for high-dimensional feature selectionODS-EA:一种基于目标到决策空间的高维特征选择进化算法
Maximum relevant diversity aware, multi-video summarization using clustering and evolutionally multi-objective optimization最大相关多样性感知的多视频摘要生成,采用聚类和进化多目标优化
Generalizable deepfake detection framework using hybrid convolution-based EfficientNetB7 with attention mechanism基于混合卷积和注意力机制的通用深度伪造检测框架(EfficientNetB7)
Unmasking deepfakes: A systematic review of deepfake detection and generation techniques using artificial intelligence揭露deepfakes: 使用人工智能对deepfakes检测和生成技术的系统回顾

