.png){kind=icon}
返回
Performance Optimization of HPC Workloads in Cloud Using AI-Driven Algorithms
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-3585-9_13.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
随着高性能计算（HPC）工作负载越来越多地迁移到云基础设施，对智能、推理时自适应调度的需求变得至关重要。传统的调度器如FCFS或SJF通常难以适应云系统的异构性和动态特性，导致资源利用率低下和作业等待时间增加。本文提出了一种多阶段基于AI的流水线，通过整合三种核心能力来解决这些挑战：使用监督学习的作业运行时间预测、通过深度自编码器的异常检测以及使用强化学习的自适应资源调度。利用来自MIT SuperCloud数据集的真实数据，我们的系统从时间序列遥测数据中提取有意义的模式，以支持明智的调度决策。作业预测模块基于CPU利用率、内存消耗和I/O统计来估计运行时间。异常检测模块使用学习的GPU性能规范标记异常作业。RL调度器根据预测的持续时间和异常状态动态地将作业匹配到计算节点，以优化周转时间和利用率。实验评估表明，与传统调度器相比，平均周转时间减少了28%，资源利用率提高了10%以上。这些结果证实了在HPC云平台中AI驱动编排策略的可行性，并强调了集成学习型系统在实现可扩展、高效和情境感知的工作负载管理方面的重要性。
Keyword:
Cloud HPC
Scheduling
Reinforcement Learning
Runtime Prediction
Anomaly Detection
AI Optimization
期刊
P
IF:
0
论文数:
13
被引数:
0
机构
引用论文
.png){kind=icon}
Scaling TensorFlow, PyTorch, and MXNet using MVAPICH2 for High-Performance Deep Learning on Frontera
PREAI
分享收藏Multi-workflow dynamic scheduling in product design: A generalizable approach based on meta-reinforcement learning基于元强化学习的产品设计多工作流动态调度方法
PREAI
分享收藏
查看更多内容