CPU-and GPU-Based Distributed Sampling in Dirichlet Process Mixtures for Large-Scale Analysis

Dinari, Or

doi:10.18637/jss.v116.i07

CPU-and GPU-Based Distributed Sampling in Dirichlet Process Mixtures for Large-Scale Analysis

2026-05-01

0

PRE

AI

DOI：10.18637/jss.v116.i07

原文链接

原文求助

摘要

En 中文

在无监督学习领域，贝叶斯非参数混合模型，以狄利克雷过程混合模型（DPMM）为例，为模型复杂度适应数据提供了一种规范方法。此类模型在聚类任务中尤其有用，因为聚类数量未知。然而，尽管其潜力和数学优雅性，DPMM尚未成为从业者广泛采用的主流工具。这可归因于对其扩展性不佳的误解，以及缺乏能够高效处理大数据集的高性能（且用户友好）软件工具。本文通过提出一个新的、易于使用的统计软件包来弥合这一实践差距，用于可扩展的DPMM推断。更具体地说，我们提供了高效且易于修改的高性能分布式采样推断实现，用户可以选择多机、多核中央处理器（CPU）实现（在Julia中）或多流图形处理器（GPU）实现（在CUDA/C++中）。CPU和GPU实现均附带一个共同的（可选）Python包装器，为用户提供统一的接口。在算法方面，我们的实现借鉴了Chang和Fisher III（2013）的领先DPMM采样器。尽管Chang和Fisher III的实现（在MATLAB/C++中）仅使用CPU并针对单多核机器设计，但我们提出的软件包可高效地将计算分布到多机或多GPU流上。这带来了加速效果，缓解了内存和存储限制，使我们能够比Chang和Fisher III（2013）或其他DPMM方法以前所能实现的更大规模、更高维度的数据集拟合DPMM。

Keyword:

Dirichlet process mixtures

sampling

clustering

GPU

C plus plus

CUDA

Julia

Python

CPU-and GPU-Based Distributed Sampling in Dirichlet Process Mixtures for Large-Scale Analysis

摘要

期刊

机构

引用论文