.png){kind=icon}
返回
SProBench: Stream Processing Benchmark for High Performance Computing Infrastructure
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-031-99872-0_19.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
流数据处理框架的最新进展改善了实时数据处理能力，但可扩展性仍是影响吞吐量和延迟的重大挑战。尽管已有研究探讨了本地机器和云集群上的此问题，但针对现代高性能计算（HPC）基础设施的研究因缺乏可扩展的测量工具而有限。本文提出SProBench，一个新型基准测试套件，旨在评估大规模计算系统中流数据处理框架的性能。基于最佳实践，SProBench采用模块化架构，原生支持基于SLURM的集群，并无缝集成Apache Flink、Apache Spark Streaming和Apache Kafka Streams等流行流处理框架。在HPC集群上进行的实验证明其卓越的可扩展性，吞吐量比现有基准高出十倍以上。SProBench的独特功能，包括完全定制选项、内置自动化实验管理工具、无缝互操作性和开源许可，使其成为满足现代流数据处理框架需求的新型基准测试套件。
Keyword:
Stream Processing
Benchmark suite
HPC cluster Slurm
期刊
E
IF:
0
论文数:
21
被引数:
0
机构
暂无机构信息
引用论文
NebulaStream - Data Stream Processing in Massively Distributed, Heterogeneous, Volatile Environments
PREAI
分享收藏分享收藏Influencing Factors in the Scalability of Distributed Stream Processing Jobs分布式流处理作业可伸缩性的影响因素.png)
IEEE ACCESS
OAAI
IEEE ACCESSIF3.6
OAAI分享收藏SPBench: a framework for creating benchmarks of stream processing applicationsSPBench: 用于创建流处理应用程序基准的框架COMPUTING
COMPUTINGIF2.8
PREAI
分享收藏
查看更多内容