A Heuristic Big Data Processing Multi Task Efficient Deployment Method Based on QoS Aware Clustering and Bayesian Classification in Cloud Environment

doi:10.1109/TSC.2025.3592228

A Heuristic Big Data Processing Multi Task Efficient Deployment Method Based on QoS Aware Clustering and Bayesian Classification in Cloud Environment

0

PRE

AI

DOI：10.1109/TSC.2025.3592228

原文链接

原文求助

摘要

En 中文

在云环境中的大数据处理任务的快速部署是大数据处理的基本核心功能，指的是将任务有效部署到云平台的计算资源上，实现高性能和高吞吐量的数据处理。在此过程中，任务部署需要考虑云平台上的负载均衡，以确保任务能够均匀地部署到各个计算节点。然而，目前在云平台提供服务的过程中，所有主机的可用资源会自动动态调整，无法保证每个任务都会部署到剩余资源最多的主机上。这种平台上的负载不平衡会导致计算结果无法及时有效地返回给用户。因此，提出了一种基于QoS感知和贝叶斯分类的云环境大数据处理多任务高效部署方法，称为QBC。QBC首先对云中的主机进行长期QoS感知；然后，基于用户任务需求，选择满足QoS约束的主机节点形成候选集，并进行贝叶斯分类，找出具有最高后验概率的主机节点作为聚类中心；第三，基于欧氏空间距离设计目标函数，以获取候选集中的最优主机聚类集；最后，将用户任务部署到该最优主机聚类集。实验结果表明，该方法通过最小化资源消耗实现了大数据云平台的长期负载均衡优化，增强了云平台的外部支持能力，从而促进了云计算下大数据处理的多任务高效部署。所提出的基于QBC的框架相较于现有算法，平均降低了47.98%的总能耗、24.42%的完成时间、30.17%的总成本、36.92%的平均等待时间，并将吞吐量平均提高了41.93%。

Keyword:

Cloud computing

big data

Bayesian classification

QoS-aware

multi-task deployment

A Heuristic Big Data Processing Multi Task Efficient Deployment Method Based on QoS Aware Clustering and Bayesian Classification in Cloud Environment

摘要

期刊

机构

引用论文