arrow
返回

APO: Adaptive Pathway Optimization for Complex Query Tasks Based on KV-Stores

delete2026-01-01
delete0
PRE
AI
L
Li, Xiang
G
Gao, Gaimei
Z
Zhang, Qiang
G
Ge, Jiake
柴
柴艳峰 (Chai, Yanfeng) *
DOI:10.1007/978-981-95-5716-5_29delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
在大数据时代,基于LSM树的KV存储因其在写入性能和可扩展性方面的优势,已成为数据库的核心引擎。然而,其多层结构和KV范式导致在读取操作中存在显著性能瓶颈,尤其是在处理复杂查询工作负载时。为解决MyRocks的关键局限性——特别是其查询路径执行策略的次优性以及在复杂查询处理中参数配置的灵活性不足——我们提出了一种自适应路径优化(APO)框架,通过多阶段协同优化方法显著提升查询性能。首先,在查询解析阶段,引入多分支路径匹配(MPM)技术,动态生成多组优化参数配置以扩展查询优化器的搜索空间,有效规避传统优化器固有的局部最优限制。其次,在特征提取阶段,提出依赖链调控(DCR)策略,分析查询逻辑与底层KV操作间的隐式依赖关系,构建参数-路径-操作关联矩阵,并筛选高价值优化候选,从而减少无效搜索开销。最后,开发自适应参数调整(APA)模型,以路径特征为输入,利用预训练网络预测最优执行计划,实现动态决策并提升资源利用效率。实验采用IMDB、Chinook和OpenFlights三个真实数据集,将APO与原生MyRocks进行对比评估。结果表明,APO通过显著降低执行时间和延迟,在复杂连接查询场景中大幅提升了查询效率。
Keyword:
Query optimization
Reduce searching cost
LSM-tree
Adaptive mechanism

期刊

W
WEB AND BIG DATA, APWEB-WAIM 2025, PT II
IF:
0
论文数:
35
被引数:
0

机构

T
tianjin university
学者数:
8.0W
论文数: 5.8W
被引数: 88
T
taiyuan university of science & technology
学者数:
3.5K
论文数: 2.3K
被引数: 3
N
north university of china
学者数:
3.3K
论文数: 936
被引数: 0
学者 查看更多机构
引用论文

引用论文

err分享
err收藏
Spooky
err2022-09-29
err0
PREAI
errNiv Dayan; Tamar Weiss; Shmuel Dashevsky; Michael Pan; Edward Bortnikov; Moshe Twitto
err分享
err收藏
Semantic Parsing with Syntax- and Table-Aware SQL Generation
err2018-01-01
err0
errOAAI
errYibo Sun; Duyu Tang; Nan Duan; Jianshu Ji; Guihong Cao; Xiaocheng Feng; Bing Qin; Ting Liu; Ming Zhou
err分享
err收藏
The log-structured merge-tree (LSM-tree)
err1996-06-01
err0
PREAI
errPatrick O’Neil; Edward Cheng; Dieter Gawlick; Elizabeth O’Neil
err分享
err收藏
err分享
err收藏
Monkey
err2017-05-09
err0
PREAI
errNiv Dayan; Manos Athanassoulis; Stratos Idreos
err分享
err收藏
Bao: Making Learned Query Optimization Practical
err2021-06-18
err0
errOAAI
errRyan Marcus; Parimarjan Negi; Hongzi Mao; Nesime Tatbul; Mohammad Alizadeh; Tim Kraska
err分享
err收藏
How good are query optimizers, really?
err2015-11-01
err0
errOAAI
errViktor Leis; Andrey Gubichev; Atanas Mirchev; Peter Boncz; Alfons Kemper; Thomas Neumann
err分享
err收藏
学者 查看更多内容