Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification

doi:10.1007/978-3-032-06096-9_9

2026-01-01

PRE

DOI：10.1007/978-3-032-06096-9_9

原文链接

原文求助

摘要

En 中文

分布式训练常被视为优化大型数据集上线性模型的解决方案，但随着数据维度增加，主流分布式方法的机器间通信开销可能主导性能。关于非交互式算法的最新研究表明，仅需一轮机器间通信即可高效获得线性模型的近似解。然而，随着机器数量增加，这种近似效果往往恶化。本文基于近期最优加权平均方法，提出了一种新技术ACOWA，通过增加一轮通信实现显著更优的近似质量，同时仅略微增加运行时间。实验结果表明，对于稀疏分布式逻辑回归，ACOWA得到的解更接近经验风险最小化解，且比其他分布式算法获得显著更高的精度。我们还引入了等效率分析应用于分布式逻辑回归，并证明ACOWA在数据规模和处理器数量方面保持优于现有分布式算法的扩展性。

Keyword:

LASSO

REGULARIZATION

期刊

MACHINE LEARNING AND KNOWLEDGE DISCOVERY IN DATABASES. RESEARCH TRACK, ECML PKDD 2025, PT V

IF:

论文数:

被引数:

机构

booz allen hamilton holding corporation

学者数:

252

论文数: 146

被引数: 1

University System of Maryland

学者数:

6.5W

论文数: 5.6W

被引数: 113

University of Maryland Baltimore

学者数:

1.8W

论文数: 1.4W

被引数: 2.5W

查看更多机构

引用论文

Machine learning: Trends, perspectives, and prospects 机器学习: 趋势、观点和前景

Science

IF0

2015-07-17

PREAI

M. I. Jordan; T. M. Mitchell

GLMix

Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining

IF0

2016-08-13

PREAI

XianXing Zhang; Yitong Zhou; Yiming Ma; Bee-Chung Chen; Liang Zhang; Deepak Agarwal

Towards a Better Understanding of Linear Models for Recommendation 对线性推荐模型更深入的理解

Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining

IF0

2021-08-14

OAAI

Ruoming Jin; Dong Li; Jing Gao; Zhi Liu; Li Chen; Yang Zhou

mlpack 4: a fast, header-only C++ machine learning library

Journal of Open Source Software

IF0

2023-02-01

OAAI

Ryan R. Curtin; Marcus Edel; Omar Shrit; Shubham Agrawal; Suryoday Basak; James J. Balamuta; Ryan Birmingham; Kartik Dutt; Dirk Eddelbuettel; Rishabh Garg; Shikhar Jaiswal; Aakash Kaushik; Sangyeon Kim; Anjishnu Mukherjee; Nanubala Gnana Sai; Nippun Sharma; Yashwant Singh Parihar; Roshan Swain; Conrad Sanderson

Scalable training ofL¹-regularized log-linear models

Proceedings of the 24th international conference on Machine learning

IF0

2007-06-20

PREAI

Galen Andrew; Jianfeng Gao

Statistical Learning with Sparsity

IF0

2015-05-07

PREAI

Trevor Hastie; Robert Tibshirani; Martin Wainwright

Armadillo: a template-based C++ library for linear algebra