返回
APO: Adaptive Pathway Optimization for Complex Query Tasks Based on KV-Stores
DOI:10.1007/978-981-95-5716-5_29.png)
摘要
En 中文
在大数据时代,基于LSM树的KV存储因其在写入性能和可扩展性方面的优势,已成为数据库的核心引擎。然而,其多层结构和KV范式导致在读取操作中存在显著性能瓶颈,尤其是在处理复杂查询工作负载时。为解决MyRocks的关键局限性——特别是其查询路径执行策略的次优性以及在复杂查询处理中参数配置的灵活性不足——我们提出了一种自适应路径优化(APO)框架,通过多阶段协同优化方法显著提升查询性能。首先,在查询解析阶段,引入多分支路径匹配(MPM)技术,动态生成多组优化参数配置以扩展查询优化器的搜索空间,有效规避传统优化器固有的局部最优限制。其次,在特征提取阶段,提出依赖链调控(DCR)策略,分析查询逻辑与底层KV操作间的隐式依赖关系,构建参数-路径-操作关联矩阵,并筛选高价值优化候选,从而减少无效搜索开销。最后,开发自适应参数调整(APA)模型,以路径特征为输入,利用预训练网络预测最优执行计划,实现动态决策并提升资源利用效率。实验采用IMDB、Chinook和OpenFlights三个真实数据集,将APO与原生MyRocks进行对比评估。结果表明,APO通过显著降低执行时间和延迟,在复杂连接查询场景中大幅提升了查询效率。
Keyword:
Query optimization
Reduce searching cost
LSM-tree
Adaptive mechanism
期刊
W
IF:
0
论文数:
35
被引数:
0

