Data-Locality-Aware Task Assignment and Scheduling for Distributed Job Executions

Hailiang Zhao

doi:10.1109/TSC.2025.3594158

Data-Locality-Aware Task Assignment and Scheduling for Distributed Job Executions

0

PRE

AI

DOI：10.1109/TSC.2025.3594158

原文链接

原文求助

摘要

En 中文

本文研究了面向数据局部性的分布式作业执行任务分配与调度问题。我们的目标是缩短作业完成时间，且无需预先知晓未来作业的到达情况。我们提出了最优平衡任务分配算法（OBTA），该算法通过高效缩小解搜索空间，在实现最小作业完成时间的同时显著降低计算开销。为平衡性能与效率，我们扩展了近似水填算法（WF），并提供了严谨证明，其近似因子等于作业中的任务组数量。我们还引入了一种新型启发式算法，复制删除（RD），其借助全局优化技术实现了优于WF算法的性能。为进一步提升调度效率，我们引入基于最短估计时间优先策略的作业排序策略，从而降低各类工作负载下的平均作业完成时间。大量的基于真实数据驱动的评估验证了所提算法的有效性与可扩展性。

Keyword:

Task assignment

job scheduling

distributed job execution

approximate analysis

trace-driven evaluation

Data-Locality-Aware Task Assignment and Scheduling for Distributed Job Executions

摘要

期刊

机构

引用论文