Remaining Workload-Aware Dynamic Task Scheduling Algorithm on Spark Heterogeneous Systems

doi:10.1109/TC.2026.3688594

Remaining Workload-Aware Dynamic Task Scheduling Algorithm on Spark Heterogeneous Systems

2026-04-28

0

PRE

AI

DOI：10.1109/TC.2026.3688594

原文链接

原文求助

摘要

En 中文

在异构分布式计算平台中，任务执行容器（如Spark执行器）通常表现出显著的性能差异。然而，大多数任务调度器基于“先释放先使用”策略贪婪地利用资源。这导致异构执行器之间的负载不平衡和应用程序性能较差。为解决此问题，我们首先构建了一个异构系统任务执行模型。然后，我们将异构环境中的负载均衡任务调度问题形式化为最小加权执行器等待时间问题，并证明了其NP难度。接下来，提出了一种剩余工作量感知的任务调度策略，以解决异构执行器之间的负载不平衡问题。此外，考虑到执行器启动开销的差异，我们引入了最早可用执行器等待机制，以进一步优化负载均衡。我们使用两个真实异构环境中的七个典型应用程序全面评估了我们提出的方法。实验结果表明，我们的方法平均将任务计数的标准差降低了60.6%，并将性能提高了最高35.5%。

Keyword:

Task scheduling

load-balancing

heterogeneous clusters

Spark executor

Remaining Workload-Aware Dynamic Task Scheduling Algorithm on Spark Heterogeneous Systems

摘要

期刊

机构

引用论文