.png){kind=icon}
返回
DPLoRA: Stable Diffusion Model distillation via Dynamic Parallel LoRA branches
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2026.114420.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
工业应用中常使用多个稳定扩散模型（SDMs）以满足多样化的用户需求。虽然这种方法有效，但不可避免地会产生巨大的内存成本和切换开销。我们观察到许多SDMs是通用基础模型的微调衍生版本，其差异源于领域适应过程中的参数更新——即每个SDM通过特定的梯度子空间获取领域特定知识。虽然将这些子空间映射到轻量级适配器（如LoRA）提供了有前景的解决方案，但标准LoRA受限于固定秩约束，且需要启发式手动调优，限制了其捕获领域知识的能力。因此，我们提出了动态并行LoRA（DPLoRA），一种基于LoRA原则的轻量级适配框架。DPLoRA通过自动识别其领域梯度并最小化推理开销，从微调的SDMs中提取领域知识。具体而言，DPLoRA通过具有自适应重要性因子的并行LoRA分支动态学习专属领域空间，并采用重参数化策略在不影响性能的情况下减少推理内存。提取的轻量级领域专用DPLoRA模块可以无缝集成到单个通用基础模型中，通过交换对应的DPLoRA模块高效处理多样化输入。在多个数据集和广泛使用的微调模型上的大量实验证明了我们所提方法的有效性和实用性。
Keyword:
Stable Diffusion Model
Model distillation
Low rank adaptation
Image generation
