Loss Functions in Diffusion Models: A Comparative Study

doi:10.1007/978-3-032-05981-9_12

2026-01-01

PRE

Kumar, Dibyanshu *

Philipp Väth

Magda Gregorová

DOI：10.1007/978-3-032-05981-9_12

原文链接

原文求助

摘要

En 中文

扩散模型已成为强大的生成模型，激发了对其底层机制的广泛研究。该领域的一个关键问题是这些模型应使用何种损失函数。过去几年中，文献中引入了多种表述[4, 7,11,13]，它们之间存在某些联系和一些源于不同初始考虑的关键差异。本文详细探讨了不同的目标目标和相应的损失函数。我们对其关系进行了系统综述，并将它们统一在变分下界目标框架下。我们通过一项经验研究补充了这一理论分析，提供了关于这些目标在何种条件下性能产生差异以及导致此类偏差的潜在因素的见解。此外，我们评估了目标选择如何影响模型实现特定目标（如生成高质量样本或准确估计似然）的能力。本研究为扩散模型中的损失函数提供了统一理解，为未来研究中的更高效和目标导向的模型设计做出贡献。

Keyword:

Diffusion Model

Loss Functions

Generative Modeling