Temporal Feature Matters: A Framework for Diffusion Model Quantization

doi:10.1109/TPAMI.2025.3585692

Temporal Feature Matters: A Framework for Diffusion Model Quantization

0

OA

AI

DOI：10.1109/TPAMI.2025.3585692

原文链接

原文求助

摘要

En 中文

扩散模型被广泛用于图像生成，但由于推理时间长和内存需求高，其在广泛应用中面临重大挑战。高效的后训练量化（PTQ）对于解决这些问题至关重要。然而，与传统的模型不同，扩散模型在多轮去噪过程中严重依赖时间步长。通常，每个时间步长会被几个模块编码为超敏感的时序特征。尽管如此，现有的PTQ方法并未对这些模块进行单独优化。相反，它们采用了不合适的重建目标和复杂的校准方法，导致时序特征和去噪轨迹受到显著干扰，同时压缩效率降低。为解决这些挑战，我们引入了一种新的量化框架，包含三种策略：1）基于TIB的维护：基于我们创新的时序信息块（TIB）定义，开发了时序信息感知重建（TIAR）和有限集校准（FSC），以有效对齐原始时序特征。2）基于缓存的维护：通过预计算和缓存时序特征的量化对应物，而不是对相关模块进行间接且复杂的优化，以最小化误差。3）扰动感知选择：利用时序特征误差指导两种维护策略之间的精细选择，以进一步减少扰动。该框架保留了大部分时序信息，并确保高质量端到端生成。在多种数据集、扩散模型和硬件上的广泛测试证实了我们的优越性能和加速效果。

Keyword:

Post-training quantization (PTQ)

diffusion model

temporal feature

hardware acceleration

Temporal Feature Matters: A Framework for Diffusion Model Quantization

摘要

期刊

机构

引用论文