返回
Multiobjective Evolutionary Diffusion Transformer Acceleration
DOI:10.1109/tcyb.2026.3731615.png)
摘要
En 中文
扩散变换器(DiTs)在图像合成领域展现了卓越性能。然而,模型推理的高昂计算开销已成为低延迟场景部署的主要障碍。基于去噪过程的重复性,我们提出了一种用于DiT加速的多目标进化算法,称为MEDA。具体而言,将采样过程的计算成本与生成质量的退化之间的冲突明确建模为双目标优化问题,并根据进化优化的调度存储和重用相邻采样步骤中的相似中间特征。此外,设计了一种动态条件评估策略并融入进化算法,以维持加速后的DiT模型在不同条件输入下的生成性能。另外,引入了一种潜在目标归一化策略,为进化过程提供有界的目标空间。在多种DiT架构上的实验表明,所提出的MEDA能够显著加速采样过程,同时保持甚至进一步提升相对于原始基准模型的生成质量。
Keyword:
Diffusion Transformer (DiT)
evolutionary algorithm
inference acceleration
multiobjective optimization

