.png){kind=icon}
返回
Gaussian Universality for Diffusion Models
.png){kind=icon}
PRE
AI
DOI：10.1109/LSP.2025.3637667.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
我们研究了扩散模型生成数据分布的Gaussian Universality。我们所说的Gaussian Universality是指，在扩散数据上训练用于分类任务的广义线性模型$f(\mathbf{W})$的测试误差，与在具有匹配每类均值和协方差的Gaussian Mixture上训练的$f(\mathbf{W})$的测试误差相匹配。换句话说，在线性设置中，测试误差仅取决于扩散生成数据的一阶和二阶统计量。作为推论，对于线性分类器测试误差的分析可以简化为对来自扩散生成数据的Gaussian数据的分析。由于[Sehwag, et al. (2024)]等方法的涌现，分析在合成数据上训练的模型性能是一个相关的问题。此外，我们证明，对于任意1-Lipschitz标量函数$\phi$，$\phi (\mathbf{x})$在从每个类别的条件扩散模型采样的$\mathbf{x}$下，以高概率接近$\mathbb{E}\phi (\mathbf{x})$。最后，我们指出，当前证明universality的方法不适用于扩散生成数据，因为数据的协方差矩阵倾向于具有消失的最小奇异值，这与文献中的假设相反。这留下了扩展先前数学universality结果作为引人入胜的开放问题。
Keyword:
Gaussian universality
diffusion models
multiclass classification
generalized linear models
期刊
I
IF:
3.9
论文数:
622
被引数:
0
.png){kind=icon}
