.png){kind=icon}
返回
Fluid-DataTable: Elastic and Efficient Caching for Cloud Native Big Data Query System
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-10459-5_34.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
如今，大数据查询系统常部署于云原生平台，以利用自动化部署和弹性伸缩等优势。然而，传统优化方法往往未能充分挖掘云原生平台及缓存加速的潜力，导致云原生环境下查询运行出现与缓存相关的QoS问题，包括缓存空间不足、静态缓存配置不适应动态工作负载以及查询任务调度未考虑缓存复用等。为解决这些问题，我们提出了Fluid-DataTable，一种专为云原生平台查询系统设计的弹性高效表缓存管理与查询任务调度服务。该服务优先将高加速增益的表加载至缓存集群，根据数据访问频率动态调整缓存副本数量和缓存节点数量，并考虑缓存状态规划查询执行顺序。实验结果表明，由于提出的云原生缓存管理及自适应机制，Fluid-DataTable在缓存效率和查询性能方面实现了显著提升。此外，缓存感知调度策略降低了缓存替换频率，相比前沿方案带来约30%的性能改进。
Keyword:
Cloud Native
Elastic Cache
Big Data Query System
期刊
N
IF:
0
论文数:
29
被引数:
0
机构
引用论文
Fluid: Dataset Abstraction and Elastic Acceleration for Cloud-native Deep Learning Training Jobs
PREAI
分享收藏Sliding Sketches: A Framework using Time Zones for Data Stream Processing in Sliding Windows.png)
Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining
Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data MiningIF0
PREAI
分享收藏分享收藏分享收藏
查看更多内容