.png){kind=icon}
返回
Adaptive sampling-driven workload balancing for distributed data stream processing
.png){kind=icon}
PRE
AI
DOI：10.4218/etrij.2025-0175.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
分布式流处理系统中的分区方案是处理大规模实时数据流的关键因素。现有解决方案要么分区质量差，要么分区时间开销高，导致严重的工作负载不均衡和背压问题。本文提出了一种自适应采样驱动的负载均衡（ASWB）方案来解决上述问题。ASWB引入了两个核心创新：(1) 一种由背压信号驱动的自适应采样率算法，动态控制流采样率以避免预测瓶颈并缓解负载不均衡，以及(2) 一个高频键预测模块，利用可变大小窗口减少哈希冲突并提高频率估计精度。该设计加速了分区算子中高频键的识别，从而提高了分区质量。我们在Apache Flink上实现了ASWB，并使用大规模真实数据集进行评估。实验结果表明，与现有最先进的方法相比，ASWB将系统吞吐量提高了最多55.03%，并降低了处理延迟。
Keyword:
backpressure
distributed stream process
partition scheme
skewness
workload balancing
