Comp-Diff: A Unified Pruning and Distillation Framework for Compressing Diffusion Models

doi:10.1109/TMM.2025.3607799

Comp-Diff: A Unified Pruning and Distillation Framework for Compressing Diffusion Models

2025-01-01

0

PRE

AI

DOI：10.1109/TMM.2025.3607799

原文链接

原文求助

摘要

En 中文

近年来，生成模型（如扩散模型）在各种应用中获得了显著关注，并且对在资源受限设备上部署这些模型的需求日益增长。模型剪枝通过减少模型冗余，同时显著影响性能，提供了一种有效的解决方案。然而，大多数现有的模型剪枝方法是为分类模型设计的，当应用于生成模型时，往往会导致性能大幅下降。为解决此问题，我们提出了Comp-Diff，一种针对扩散模型的全新两阶段剪枝与知识蒸馏框架。在剪枝阶段，我们在Comp-Diff中提出了一种新的结构化内容感知剪枝（CaP）方法，用于识别并保留实际对模型生成能力有贡献的信息单元（滤波器/通道）。具体而言，我们对预训练模型引入输入扰动，并使用这些扰动产生的梯度来测量每个单元的重要性分数。具有更高重要性分数的单元被认为信息量更大，并予以保留以维持模型的生成能力。在Comp-Diff的微调阶段，我们提出了分布感知知识蒸馏（DaKD）方法，该方法在注意力和噪声分布两个层面上，有效地将原始模型中的精细知识迁移到剪枝后的模型中。此外，DaKD包含对抗损失，以提升生成输出的质量和多样性。为验证和评估我们的方法，我们将所提出的Comp-Diff应用于三个代表性任务：无条件图像生成、条件图像生成和文本到图像生成。在多步和单步扩散模型上的大量实验表明，所提出的框架始终能产生紧凑模型，并在很大程度上优于现有的剪枝技术。

Keyword:

Generative models

diffusion models

structured pruning

knowledge distillation

Comp-Diff: A Unified Pruning and Distillation Framework for Compressing Diffusion Models

摘要

期刊

机构

引用论文