.png){kind=icon}
返回
A Multi-Model Predictive Framework for Adaptive Resource Management in Stream Processing Systems
.png){kind=icon}
OA
AI
DOI：10.1016/j.future.2026.108461.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
流处理系统（SPSs）旨在处理连续的事件流，通常在高度可变的输入速率下进行。尽管已有研究探索了动态算子复制，但许多现有方法缺乏通用性，且在不同场景下表现次优。在本文中，我们提出了MMP-SPS，一个预测性自适应框架，通过引入多窗口控制环路、支持多种预测模型以及基于RMSE评估和Multi-armed bandits算法的在线模型选择，扩展了我们的PA-SPS系统。针对高容量和波动数据流的环境，如社交媒体分析和网络流量监控，该框架采用强化学习（RL）策略，根据实时工作负载特征动态选择最合适的模型。为验证我们系统的有效性，我们部署了基于Apache Storm的MMP-SPS实现，并在Google Cloud Platform上使用真实数据集进行了评估。实验结果表明，与静态和单模型基线相比，在延迟、吞吐量和资源利用率方面实现了显著改进。这些发现强调了多模型预测性自适应在动态条件下实现可扩展且鲁棒的流处理的潜力。
Keyword:
Stream processing
Resource Management
Adaptive Systems
Prediction Models
Reinforced Learning
期刊
F
IF:
0
论文数:
642
被引数:
0
机构
引用论文
An elastic and traffic-aware scheduler for distributed data stream processing in heterogeneous clusters一种用于异构集群中分布式数据流处理的弹性且流量感知的调度器
PREAI
分享收藏Online optimal service caching for multi-access edge computing: A constrained Multi-Armed Bandit optimization approach多接入边缘计算中的在线最优服务缓存：一种受约束的多臂老虎机优化方法
PREAI
分享收藏J. Lian, X. Zhang, Y. Shao, Z. Pu, Q. Xiang, Y. Li, B. Cui, Conttune: Continuous tuning by conservative bayesian optimization for distributed stream data processing systems, Proc. VLDB Endow. 16 (2023) 4282–4295.J. Lian, X. Zhang, Y. Shao, Z. Pu, Q. Xiang, Y. Li, B. Cui, Conttune: 基于保守贝叶斯优化的分布式流数据处理系统持续调优，Proc. VLDB Endow. 16 (2023) 4282–4295..png)
IF0
PREAI
分享收藏
The accuracy of machine learning models relies on hyperparameter tuning: student result classification using random forest, randomized search, grid search, bayesian, genetic, and optuna algorithms机器学习模型的准确性依赖于超参数调整: 使用随机森林，随机搜索，网格搜索，贝叶斯，遗传和optuna算法的学生结果分类
PREAI
分享收藏分享收藏
查看更多内容