.png){kind=icon}
返回
MixFusion: A Patch-Level Parallel Serving System for Mixed-Resolution Diffusion Models
.png){kind=icon}
PRE
AI
DOI：10.1145/3774934.3786420.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
文本到图像（T2I）扩散模型因其能够合成高保真照片级真实图像而近来受到广泛关注。然而，在实际应用场景中，由于请求分辨率高度可变，服务扩散模型会因硬件利用率低下而受到影响。为此，我们提出MixFusion，一个并行服务系统，利用细粒度图像块级并行性来支持高效混合分辨率请求批处理。具体而言，MixFusion引入了一种新颖的基于图像块的加工流程，显著支持不同请求的并发处理。此外，MixFusion采用了一种面向图像块的缓存管理策略，以利用图像块级的局部性优势。同时，MixFusion具有一种具有轻量级在线延迟预测的服务水平目标（SLO）感知调度策略。全面的评估表明，与现有最优方案相比，MixFusion平均提升了30.1%的SLO满足率。我们的代码可在https://github.com/desenSunUBW/mixfusion获取。
Keyword:
Patch Management
Diffusion Model Serving
Mixed-Resolution Batching
期刊
机构
引用论文
.png){kind=icon}
Efficient Memory Management for Large Language Model Serving with PagedAttention使用PagedAttention服务的大型语言模型的有效内存管理
OAAI
OAAI分享收藏EmoGen: Emotional Image Content Generation with Text-to-Image Diffusion ModelsEmoGen：基于文本到图像扩散模型的情感图像内容生成
PREAI
分享收藏CD-MSA: Cooperative and Deadline-Aware Scheduling for Efficient Multi-Tenancy on DNN AcceleratorsCd-msa: 协作和截止日期感知调度，用于DNN加速器上的高效多租户
PREAI
分享收藏DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion ModelsDistriFusion：高分辨率扩散模型的分布式并行推理
PREAI
分享收藏Proteus: A High-Throughput Inference-Serving System with Accuracy ScalingProteus：一个具有精度扩展能力的高吞吐量推理服务系统
PREAI
分享收藏
查看更多内容