.png){kind=icon}
返回
Scheduling DAG-structured workloads based on whale optimization algorithm
.png){kind=icon}
OA
AI
DOI：10.1007/s11227-025-07415-3.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
许多大数据和机器学习应用中的计算工作负载被结构化为有向无环图（DAG），并部署在PC集群上，通过多台物理或虚拟机进行并行执行。此类工作负载的调度对于应用性能（如执行时间）至关重要，已开发出大量技术，考虑了数据本地性、网络带宽和服务器能力等各种因素。我们将DAG结构化工作负载调度表述为非线性整数规划（NIP）问题，并证明其为NP完全问题。我们的实证研究揭示了调度计划距离（SPD）与完成时间差（FTG）之间存在正相关，基于此发现，我们提出了运行时间差策略（RTGS）以解决多处理器环境中的此调度问题。RTGS遵循鲸鱼优化算法（WOA）家族中的主要优化策略。我们推导出一个新函数，并在RTGS中使用贪心算法生成有效的调度计划。在模拟环境和真实的Hadoop环境中，使用来自阿里巴巴的实际生产跟踪数据进行的大量实验表明，我们的方法在应用于DAG结构化工作负载的调度问题时，显著提高了WOA的稳定性，并且与七种最先进的基线算法相比，将工作负载完成时间最多减少了93%。
Keyword:
Workload scheduling
Directed acyclic graph
Parallel computing
Whale optimization algorithm
期刊
IF:
2.7
论文数:
1.1K
被引数:
1.0W
机构
引用论文
Scalable Irregular Parallelism with GPUs: Getting CPUs Out of the Way基于GPU的可扩展不规则并行计算：让CPU退出核心处理OAAI
OAAI分享收藏分享收藏Integrative Approaches to the Study of Baleen Whale Diving Behavior, Feeding Performance, and Foraging Ecology.png)
BioScience
OAAI
BioScienceIF0
OAAI分享收藏Liger: Interleaving Intra- and Inter-Operator Parallelism for Distributed Large Model InferenceLiger：为分布式大模型推理交织内部和外部算子并行性
PREAI
分享收藏DeepWeave: Accelerating Job Completion Time with Deep Reinforcement Learning-based Coflow SchedulingOAAI
OAAI分享收藏The Use of Ranks to Avoid the Assumption of Normality Implicit in the Analysis of Variance使用秩来避免方差分析中隐含的正态性假设
PREAI
分享收藏
查看更多内容