.png){kind=icon}
返回
Pa-Stream: pattern-aware scheduling for distributed stream computing systems
.png){kind=icon}
PRE
AI
DOI：10.1007/s10586-025-05808-w.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于系统指标变化调整算子分配是分布式流计算系统的关键特性之一。然而，现有工作通常无法检测数据流中的潜在模式特征，转而依赖过时的信息进行调度决策。这导致对数据流波动的响应延迟，造成显著的性能波动。为解决这些挑战，本文提出了一种名为Pa-Stream的模式感知调度策略。本工作的主要贡献包括：(1) 性能问题验证：通过在阿里云上进行的实验，我们评估了Storm的资源感知调度器在波动数据流下的性能。结果表明，数据流的变化会降低系统性能并导致资源浪费。(2) 数据流预测策略：我们引入了一种基于长短期记忆（LSTM）网络的数据流预测算法，用于识别数据流模式并预测系统性能。(3) 初始调度策略：提出了一种基于装箱算法和多目标非支配排序的新型调度策略，用于算子的初始调度。该方法解决了传统装箱算法在异构集群中处理调度挑战的局限性。(4) 运行时调度策略：针对运行时调度，我们设计了一种基于深度Q网络（DQN）的策略。该策略整合了DQN训练、调度方案生成算法和在线调度算法，以优化运行时决策。(5) Pa-Stream的实现与评估：我们部署了Pa-Stream并通过大量实验验证其性能。结果表明，与SP-Ant和R-storm相比，Pa-Stream可将延迟最多降低57.24%，吞吐量最多提升76.18%，系统负载最多减少52.91%。
Keyword:
Distributed computing system
Data stream pattern
Operator scheduling
Long short-term memory network
Deep Q-network
期刊
C
IF:
0
论文数:
691
被引数:
1
机构
引用论文
.png){kind=icon}
An elastic and traffic-aware scheduler for distributed data stream processing in heterogeneous clusters一种用于异构集群中分布式数据流处理的弹性且流量感知的调度器
PREAI
分享收藏I-Scheduler: Iterative scheduling for distributed stream processing systemsI-scheduler: 分布式流处理系统的迭代调度
PREAI
分享收藏Latency-aware placement of stream processing operators in modern-day stream processing frameworks
OAAI
OAAI分享收藏
分享收藏
查看更多内容