返回
Scalable join operators over data streams with shared-nothing parallelism
DOI:10.1016/j.is.2026.102749.png)
摘要
En 中文
流连接是流处理中最具计算强度的有状态算子之一。来自不同流的元组必须实时分析以识别满足特定用户定义条件的元组对。由于受内存限制,无法缓冲所有输入流中的元组,流连接通常在接收到的元组子集上计算。该子集通常按特定时间间隔(在线间隔连接)或按固定长度的时间窗口与定义的滑动步长(窗口连接)进行组织。本文提出了多种流连接计算的并行模式,旨在有效提高整体查询吞吐量。我们的重点是利用无共享并行性,提供可高效在现代横向扩展和纵向扩展流处理引擎上执行的便携式并行化策略。在所提出的模式中,展现出混合并行性的模式在性能和负载均衡方面最为有前景。实验评估使用真实数据集和不同的键分布,突出了所提出模式的表现特征,并与最先进方案进行比较,证实了具有混合并行性的并行模式相对于主要竞争对手的有效性。
Keyword:
Data stream processing
Online interval join
Parallel processing
Shared-nothing parallelism

