.png){kind=icon}
返回
Optimizing Unnormalized Statistical Models Through Compositional Optimization
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2025.3621320.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
学习非归一化统计模型（例如基于能量的模型）在计算上具有挑战性，因为处理配分函数的复杂性。为避免这种复杂性，噪声对比估计（NCE）被提出，其将目标函数定义为真实数据与人工噪声之间的逻辑损失。然而，先前的研究表明，由于损失函数景观平坦和收敛缓慢，NCE在许多任务中可能表现不佳。本文从组合优化的视角研究了优化非归一化模型负对数似然的一种直接方法。为解决配分函数问题，引入了一种噪声分布，使得对数配分函数可以表示为组合函数，其内层函数可通过随机样本进行估计。因此，目标函数可通过随机组合优化算法进行优化。尽管该方法简单，但我们证明其优于NCE，体现在：（1）建立了快速收敛率，并通过随机估计器的方差量化了其对噪声分布的依赖性；（2）在高斯均值估计中取得了更优结果，展示了该方法具有更优越的损失函数景观并享有更快的收敛速度；（3）在多种应用中表现出更优性能，包括密度估计、分布外检测和真实图像生成。
Keyword:
Noise-contrastive estimation
stochastic compositional optimization
unnormalized statistical models
parameter-free algorithms
max likelihood estimation
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
Learning Deep Latent Variable Models by Short-Run MCMC Inference with Optimal Transport Correction
PREAI
分享收藏Solving Stochastic Compositional Optimization is Nearly as Easy as Solving Stochastic Optimization
OAAI
OAAI分享收藏Linear Convergence of Gradient and Proximal-Gradient Methods Under the Polyak-Łojasiewicz Condition
PREAI
分享收藏
查看更多内容