.png){kind=icon}
返回
Single-Fold Distillation for Diffusion Models
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-05981-9_11.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
尽管扩散模型能够有效生成出色的合成图像，但其关键局限性在于推理效率低下，需要大量采样步骤。为加速推理并保持高质量合成，采用教师-学生蒸馏法通过重新训练以渐进和二进制方式压缩扩散模型，例如将1024步模型压缩为3倍的128步模型。本文提出了一种单次折叠蒸馏算法SFDDM，该算法能够基于教师模型中间输入的重新参数化，灵活地将教师扩散模型压缩为任意所需步数的学生模型。为训练学生扩散模型，我们不仅最小化输出距离，还最小化教师与学生模型之间隐藏变量的分布。在四个数据集上的大量实验表明，由提出的SFDDM训练的学生模型能够在步数减少至1%以下的情况下采样高质量数据，从而在推理时间上做出权衡。我们的卓越性能表明，SFDDM能够有效实现单次折叠蒸馏中的知识转移，达到语义一致性和有意义的图像插值。
Keyword:
knowledge distillation
diffusion models
inference efficiency
期刊
机构
查看更多机构
引用论文
.png){kind=icon}
MobileDiffusion: Instant Text-to-Image Generation on Mobile DevicesMobileDiffusion：移动设备上的即时文本到图像生成
PREAI
分享收藏
没有更多内容