.png){kind=icon}
返回
Token-aware and step-aware acceleration for Stable Diffusion
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2025.111479.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
Stable Diffusion在生成高质量和多样化的图像方面表现出强大的能力。然而，由于模型庞大且存在逐步去噪过程，Stable Diffusion存在较高的计算成本。为解决这些问题，我们提出了一种针对Stable Diffusion的token感知和步感知加速方法，命名为TSA-SD。我们首先通过将现有的跨步内和跨步加速策略（包括token合并和特征缓存）整合到Stable Diffusion中，构建了一个简单高效的基线模型。为提升基线模型的图像生成质量，我们引入了token感知的合并-解合并和步感知加速。token感知的合并-解合并旨在合并时选择信息量丰富的token，并利用token比例信息恢复合并后的token。因此，token感知的合并-解合并能够充分利用token特定的信息，从而减少token信息的损失。此外，我们观察到不同步骤具有不同的功能线性度，并提出了步感知加速，根据不同步骤的功能线性度执行不同的合并操作。通过这两个模块，我们提出的TSA-SD能够在高速下生成高质量的图像。我们在两个广泛使用的数据集（包括ImageNet和MS-COCO）上进行了实验。实验结果表明了我们提出的方法的有效性和高效性。例如，在ImageNet验证集上，与Stable Diffusion相比，ToMe-SD在1.96倍加速下FID更低（33.68），而我们的方法在4.68倍加速下FID更低（32.49）。
Keyword:
Image generation
Transformer
Stable Diffusion
Token merging
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
暂无机构信息
引用论文
SRDiff: Single image super-resolution with diffusion probabilistic modelsSRDiff: 具有扩散概率模型的单幅图像超分辨率.png)
NEUROCOMPUTING
OAAI
NEUROCOMPUTINGIF6.5
OAAI分享收藏
查看更多内容