.png){kind=icon}
返回
KubePipe: a container-based high-level parallelization tool for scalable machine learning pipelines
.png){kind=icon}
OA
AI
DOI：10.1007/s11227-025-06956-x.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
随着机器学习应用复杂度和规模的持续增长，对高效训练方法的需求日益关键。传统训练过程可能耗时较长，常限制快速开发和部署。为应对这一挑战，我们提出KubePipe，这是一个高级工具，它将并行性和容器化从用户层面抽象出来，使非专业用户无需深入了解并行计算或容器编排知识即可利用先进的并行架构。KubePipe能够在一个Kubernetes集群内实现多个机器学习工作流的并发执行，优化计算资源并显著缩短训练时间。通过利用容器化环境，KubePipe确保了高度的模块化、可扩展性和可移植性，使其能够适配各种机器学习框架和任务。我们的实验结果表明，与传统的流水线实现相比，使用KubePipe可带来显著的性能提升。本文探讨了KubePipe的架构与功能，为读者提供其与现有机器学习系统集成方面的见解，并突显其在高性能计算环境中简化训练过程的潜力。
Keyword:
Kubernetes
Machine learning
Containerization
Parallel computing
High-performance computing
Pipeline Optimization
期刊
IF:
2.7
论文数:
1.1K
被引数:
1.0W
机构
引用论文
Motifizer: a tool for parsing high-throughput sequencing datasets and quantitative comparative analyses of transcription factor-binding sitesMotifizer：一种用于解析高通量测序数据集以及对转录因子结合位点进行定量比较分析的工具.png)
OAAI
IF0
OAAI分享收藏Towards HPC and Big Data Analytics Convergence: Design and Experimental Evaluation of a HPDA Framework for eScience at ScaleIEEE ACCESS
OAAI
IEEE ACCESSIF3.6
OAAI分享收藏Assessing the Performance of Docker in Docker Containers for Microservice-Based Architectures评估Docker在Docker容器中的性能：基于微服务架构
PREAI
分享收藏Parallel simulation of hydrological model based on container and automated deployment tools基于容器和自动化部署工具的水文模型并行仿真International Conference on Signal Processing, Computer Networks, and Communications (SPCNC 2022)
International Conference on Signal Processing, Computer Networks, and Communications (SPCNC 2022)IF0
PREAI
分享收藏Adoption of Machine Learning Systems for Medical Diagnostics in Clinics: Qualitative Interview StudyOAAI
OAAI分享收藏Performance characterization of containerization for HPC workloads on InfiniBand clusters: an empirical studyInfiniBand集群上HPC工作负载容器化的性能表征: 一项实证研究OAAI
OAAI分享收藏
查看更多内容