.png){kind=icon}
返回
Efficient and Adaptive Diffusion Model Inference Through Lookup Table on Mobile Devices
.png){kind=icon}
PRE
AI
DOI：10.1109/TMC.2025.3558203.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
扩散模型已革新图像合成应用。许多研究聚焦于使用近似计算（如模型量化）来降低移动设备上的推理成本。然而，由于扩散模型具有大量的模型参数和自回归推理方式，其开销仍然很高，这对移动设备处理能力构成挑战。为降低移动设备上扩散模型的推理开销，我们提出LUT-Diff，一种专门针对移动设备扩散模型推理优化的算法-系统协同设计。LUT-Diff采用查找表进行优化，能够高效生成一系列扩散模型的查找表候选方案，无需端到端训练。在推理过程中，LUT-Diff根据应用/用户的延迟预算自适应选择最佳推理策略。此外，LUT-Diff包含一个并行推理引擎，通过CPU-GPU协同调度快速完成模型推理。大量实验表明，LUT-Diff能够生成与原模型可比的图像，生成图像的均方误差最高为0.012。LUT-Diff相比基线方法还可实现最高9.1倍的推理加速，并将推理内存占用减少高达70.9%。此外，LUT-Diff能够节省至少3281倍的查找表学习成本。
Keyword:
Deep learning
diffusion model
lookup table
期刊
IF:
9.2
论文数:
5.9K
被引数:
1.8W
机构
引用论文
.png){kind=icon}
查看更多内容