.png){kind=icon}
返回
Aggregation-based partitioning algorithm for traffic congestion in MapReduce
.png){kind=icon}
OA
AI
DOI：10.1186/s40537-025-01115-8.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
当前时代见证了科学前沿的显著变革，这主要是由数字领域的进步所驱动的。这导致了被称为大数据的空前数据爆发。在能够有效且低成本地处理海量数据的平台中，MapReduce脱颖而出。尽管以往研究着重于通过选择和调度mapper来提升MapReduce的整体性能，但很少关注优化shuffle阶段对性能的影响。MapReduce通过多个阶段运行，在重负载任务的情况下，shuffle阶段会产生大量的数据流量。优化或封装某些方面（例如catalyst）可以显著加速平台的性能。本研究提出了一种基于聚类的分区算法（ABPA），解决了现有方法在减少MapReduce中间阶段（即shuffle阶段）交通拥堵方面的局限性。所提出的ABPA算法通过涉及不同类型和长度数据集的实验进行评估，采用不同数量的分区，每个分区包含指定数量的mapper和一个aggregator。实验结果表明，使用ABPA方案可显著降低网络流量成本并缩短总MapReduce作业执行时间。具体而言，该算法相较于基本哈希和常规聚合方案，分别实现了73%和56%的网络流量成本改进。此外，与相同方案相比，它将总作业完成时间减少了60%和46%。
Keyword:
Aggregation-based partitioning
Big data
MapReduce
Job completion time
Shuffle phase optimization
Network traffic cost
期刊
IF:
6.4
论文数:
1.5K
被引数:
1.1W
机构
引用论文
MapReduce Scheduler to Minimize the Size of Intermediate Data in Shuffle PhaseMapReduce调度器以最小化洗牌阶段中间数据的大小
PREAI
分享收藏Design and Analysis of New Version of Cryptographic Hash Function Based on Improved Chaotic Maps With Induced DNA Sequences.png)
IEEE ACCESSOAAI
IEEE ACCESSIF3.6
OAAI分享收藏Multipath Routing Scheme for Optimum Data Transmission in Dense Internet of Things密集物联网中用于最优数据传输的多路径路由方案MathematicsOAAI
MathematicsIF0
OAAI分享收藏Performance Analysis and Deployment of Partitioning Strategies in Apache SparkApache Spark中分区策略的性能分析与部署
OAAI
OAAI分享收藏
查看更多内容