Data and Computing Resource Integrated Allocation System for Deep Learning Workload Scheduling

doi:10.1109/tcc.2026.3731759

Data and Computing Resource Integrated Allocation System for Deep Learning Workload Scheduling

2026-09-07

0

PRE

AI

DOI：10.1109/tcc.2026.3731759

原文链接

原文求助

摘要

En 中文

云计算环境中部署的深度学习工作负载日益依赖地理分布的数据资源和成本感知调度。然而，现有的云资源管理方法主要关注计算基础设施分配，将数据视为静态输入，忽略了模型训练过程中数据特征与计算资源之间的强耦合关系。这一局限性往往导致数据集、训练任务与异构云资源之间的次优匹配，从而降低训练效率与模型效果。为应对此挑战，本文提出了一种面向云计算环境深度学习工作负载调度的数据与计算资源集成分配系统。所提出的框架通过将数据与计算资源同等视为可调度资源，扩展了传统云资源编排。开发了一种统一表示模型，通过任务相关性、数据质量和定价属性表征异构数据资源，同时根据应用领域特定的处理能力和性能特征表示异构计算资源。为实现在大型资源空间中的可扩展决策，采用基于分解Q网络的分层动作分解调度器（F-DQN调度器）协调数据与计算资源选择。实验结果表明，将数据特征显式纳入云资源分配决策中，相较于传统的以计算为中心的调度方法，显著提升了资源匹配质量、调度效率以及整体深度学习工作负载性能。

Keyword:

data resources allocation

heterogeneous computing resources

computing network

deep learning workload scheduling

Data and Computing Resource Integrated Allocation System for Deep Learning Workload Scheduling

摘要

期刊

机构

引用论文