Accelerated Stein Variational Gradient Flow

doi:10.1007/978-3-032-03921-7_9

2026-01-01

PRE

Viktor Stein *

Wuchen Li

DOI：10.1007/978-3-032-03921-7_9

原文链接

原文求助

摘要

En 中文

斯坦变分梯度下降（SVGD）是一种基于核的粒子方法，用于从目标分布中采样，例如在贝叶斯推断中。SVGD不需要估计对数密度的梯度，该梯度估计称为评分估计。在实践中，与基于评分估计的采样算法相比，SVGD可能较慢。为了设计快速高效的高维采样算法，我们引入了ASVGD，一种加速的SVGD，基于概率密度度量空间中的加速梯度流，遵循Nesterov方法。然后我们推导出一种基于动量的离散时间采样算法，该算法确定性地演化一组粒子。为了稳定粒子的位置更新，我们还研究了Wasserstein度量正则化。对于广义双线性核和高斯核，针对不同目标分布的玩具数值示例表明，ASVGD相对于SVGD和其他流行的采样方法的有效性。

Keyword:

Nesterov's accelerated gradient method

Information geometry

Kernel methods

Score functions

Interacting particle system