.png){kind=icon}
返回
A distributed inference algorithm for Dirichlet process mixture models with exponential family components
.png){kind=icon}
OA
AI
DOI：10.1016/j.neucom.2025.131119.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
• 在联邦学习场景下，我们提出了一种基于主从架构（Master/Worker）的新型分布式推理框架用于Dirichlet Process Mixture Models（DPMMs）。数据在各工作节点间均匀划分以确保负载均衡。工作节点独立运行，彼此不共享信息，仅通过交换必要的最小统计量与主节点通信。
• 每个工作节点执行局部坍缩Gibbs采样器以发现局部簇并推断局部DPMM，然后将这些局部簇的充分统计量传输至主节点。
• 在主节点层面，仅利用充分统计量估计全局DPMM和聚类结构，无需访问各簇的原始数据。
• 我们在连续和离散数据上验证了该方法的有效性。对于连续数据，我们聚焦于多元高斯混合模型，在包含100 K个数据点的数据集上完成100次迭代仅需3分钟，而集中式坍缩Gibbs采样器需12小时。对于离散数据，我们引入了一个多项式DPMM并应用于文本聚类，展示了该框架的通用性。
• 此外，我们还展示了该方法如何推广至指数分布族并保持适用性，同时提供了计算细节。模型的整体工作流程如图1所示。
Keyword:
Horizontal federated learning
Distributed computing
Dirichlet process mixture models
Markov chain Monte Carlo
Bayesian non-parametric modeling
期刊
IF:
6.5
论文数:
2.5W
被引数:
6.5W
机构
引用论文
A dirichlet multinomial mixture model-based approach for short text clustering.png)
Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining
Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data miningIF0
PREAI
分享收藏
分享收藏Distributed MCMC Inference in Dirichlet Process Mixture Models Using Julia使用Julia的狄利克雷过程混合模型中的分布式MCMC推断
PREAI
分享收藏Fed-SC: One-Shot Federated Subspace Clustering over High-Dimensional Data谢, S., 吴, Y., 廖, K., 陈, L., 刘, C., 沈汉, H., 唐敏, M., 孙, L., 2023. Fed-sc: 高维数据上的一体化子空间聚类, 收录于: 2023年IEEE第39届国际数据工程会议(ICDE), 第2905-2918页. 10.1109/ICDE55515.2023.00222.
PREAI
分享收藏Distributed Collapsed Gibbs Sampler for Dirichlet Process Mixture Models in Federated LearningKhoufache, R., Lebbah, M., Azzag, H., Goffinet, E., Bouchaffra, D., 2024. 用于联邦学习中狄利克雷过程混合模型的分布式塌陷吉布斯采样器。2024年SIAM国际数据挖掘会议论文集，815–823。
PREAI
分享收藏
查看更多内容