.png){kind=icon}
返回
Gradient flow-based iterative pruning for efficient and high-quality lightweight diffusion models
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neunet.2025.108227.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
扩散模型（DMs）因其卓越的能力在生成模型中脱颖而出，但其应用常受限于较慢的推理速度和较高的计算成本。现有研究尝试通过一次性结构剪枝，从预训练模型中衍生轻量级DMs来解决这些问题。然而，这种方法常导致生成质量显著下降，并存在移除关键参数的风险。为克服这些局限性，我们提出了一种基于梯度流的迭代剪枝方法。该方法整合了梯度流剪枝过程与梯度流剪枝准则，采用渐进式软剪枝策略，确保剪枝过程中掩码的连续性。具体而言，梯度流剪枝准则识别并剪枝那些移除后会导致损失函数梯度范数增加的参数，从而促进迭代剪枝阶段的快速收敛。通过在稀疏空间中沿梯度流引导掩码，我们的方法缓解了传统一次性剪枝常见的骤然信息丢失问题，并相较于传统迭代剪枝实现了更优化的掩码。此外，我们设计了一种粗粒度剪枝框架，在显著减少时间消耗的同时达到相近效果。在广泛使用的数据集上进行的大量实验表明，我们的方法不仅能提供更优性能，还能提升效率，并与原始预训练模型的保真度更高。
