SD-Acc: Accelerating Stable Diffusion through Phase-Aware Sampling and Hardware Co-Optimizations

Zhican Wang

doi:10.1109/tc.2026.3715379

SD-Acc: Accelerating Stable Diffusion through Phase-Aware Sampling and Hardware Co-Optimizations

2026-07-23

0

PRE

AI

DOI：10.1109/tc.2026.3715379

原文链接

原文求助

摘要

En 中文

扩散模型的兴起显著增强了生成式人工智能的能力，在图像和视频生成方面提升了质量、真实性和创造性。其中，Stable Diffusion（StableDiff）已成为文本到图像生成领域最具影响力的扩散模型之一，是下一代多模态算法的关键组成部分。尽管取得进展，StableDiff带来了巨大的计算和内存需求，影响了推理速度和能效。为解决这些硬件性能问题，我们识别出三个关键挑战：1）密集且可能冗余的计算；2）涉及卷积和注意力机制的高度异构算子；3）权重和激活尺寸的显著差异。因此，我们提出SD-Acc，一种新型算法与硬件协同优化方案：在算法层面，我们观察到去噪过程中某些阶段的高层特征具有高度相似性，表明近似计算的可能性。为此，我们设计了一种自适应的相位感知采样框架，以减少计算和内存需求。该通用框架可自动探索给定StableDiff模型和用户需求下的图像质量与算法复杂度之间的权衡。在硬件层面，我们引入了一种地址中心的数据流，以在简单的脉动阵列中高效执行异构算子。非线性操作瓶颈通过我们新颖的两阶段流式计算和可重构向量处理单元得到全面解决。我们进一步通过自适应数据流优化提升硬件效率，该优化整合了针对StableDiff的动态重用和融合技术，显著减少内存访问。在多种StableDiff模型上，我们的广泛实验表明，算法优化可将计算需求最多降低3倍，同时保持各模型相同的图像质量。结合我们高度优化的硬件加速器，该方法可超越CPU和GPU实现更高的速度和能效。

Keyword:

Diffusion models

phase-aware sampling

algorithm–hardware co-design

hardware acceleration

systolic arrays

dataflow optimization

SD-Acc: Accelerating Stable Diffusion through Phase-Aware Sampling and Hardware Co-Optimizations

摘要

期刊

机构

引用论文