.png){kind=icon}
返回
Geometric regularity in deterministic sampling dynamics of diffusion-based generative models*
.png){kind=icon}
PRE
AI
DOI：10.1088/1742-5468/ae17ac.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于扩散的生成模型采用随机微分方程及其等价概率流常微分方程，在复杂高维数据分布与可处理先验分布之间建立平滑变换。本文揭示了扩散生成模型确定性采样动力学中一个显著的几何规律：沿梯度场模拟的每条采样轨迹均位于极低维子空间内，且所有轨迹无论模型架构、应用条件或生成内容如何，均呈现出几乎相同的“回旋镖”形状。我们刻画了这些轨迹的若干有趣特性，特别是在基于核估计的数据建模的闭式解下。我们还通过提出一种基于动态规划的方案，展示了所发现轨迹规律的实用应用，以更好地使采样时间表与底层轨迹结构对齐。该简单策略仅需对现有确定性数值求解器进行极小修改，引入可忽略的计算开销，并在图像生成性能上取得卓越效果，尤其在仅使用5-10次函数评估的区域中表现突出。
Keyword:
diffusion-based generative models
sampling dynamics
trajectory regularity
low-dimensional structure
期刊
J
IF:
1.9
论文数:
162
被引数:
1.0W
机构
引用论文
Memorization and generalization in generative diffusion under the manifold hypothesis在流形假设下生成式扩散模型的记忆与泛化
.png){kind=icon}
PREAI
分享收藏Sampling with flows, diffusion, and autoregressive neural networks from a spin-glass perspective
OAAI
OAAI分享收藏分享收藏The estimation of the gradient of a density function, with applications in pattern recognition密度函数梯度的估计及其在模式识别中的应用
PREAI
分享收藏
Speed-Accuracy Relations for Diffusion Models: Wisdom from Nonequilibrium Thermodynamics and Optimal Transport扩散模型的速-准关系：非平衡热力学与最优传输的启示
PREAI
分享收藏
查看更多内容