.png){kind=icon}
返回
Enabling Large-State Stream Processing on Memory-Constrained Multi-Core Systems via Key-Value Stores
.png){kind=icon}
PRE
AI
DOI：10.1016/j.future.2026.108471.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
流处理是一种计算范式，能够从连续数据流中高效提取洞察和分析。这些应用通常存储大型状态，常表示为滑动时间窗口，并针对不同键进行复制，即按相同键属性（s）对数据流项进行分组。超出内存容量的场景在实际应用中很常见，特别是在低/中端服务器或内存有限的边缘资源上，这使得与二级存储的高效交互至关重要。本文提出了在键值存储（KVSs）上表示流处理应用大型状态的策略。这些策略区分了基于分片的布局和以窗口为中心的布局，并通过按键或不按键分区状态数据结构来管理归档。我们强调了潜在的状态缓存优化，以进一步提高吞吐量。我们在WindFlow上实现了所有提出的策略，WindFlow是一个用于多核流处理的并行库。实验分析突出了性能、内存占用和二级存储需求之间的权衡，以及优化在平衡性能和内存消耗方面的有效性。我们还与Apache Flink及其对外部状态后端的支持进行了比较，突显了我们提出的方法在效率和有效性方面的优势。
Keyword:
stream processing
key-value stores
large-state management
memory-constrained systems
parallel computing
期刊
F
IF:
0
论文数:
642
被引数:
0
机构
引用论文
暂无论文信息