.png){kind=icon}
返回
Learning Execution Plan Embeddings for Multi-Dimensional Query Resource Prediction
.png){kind=icon}
OA
AI
DOI：10.1109/ACCESS.2026.3670242.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多集群查询引擎在生产环境中很常见，但将查询路由到合适规模的集群仍是一个未解决的问题。当前的方法如轮询、基于哈希的路由或手动规则，当简单查询落在过大的集群上时浪费资源，而当复杂查询命中过小的集群时会导致失败。生产系统经历资源不匹配导致的失败，需要手动解决方法，例如将问题查询迁移到独立的引擎。我们通过一个使用学习执行计划嵌入来预测查询资源需求的智能集群规模调整系统来解决这个问题。我们不对查询文本进行分析，而是对执行计划结构进行向量化，并搜索相似的历史查询，基于实际过去的表现而非不可靠的优化器估计来预测内存、中央处理器（CPU）和运行时间。我们采用分层的推理策略，支持快速基于特征的方法（10个基本维度；13–23毫秒开销）、带有增强特征的梯度提升（24个维度；76.5%准确率），以及用于复杂查询的图神经网络嵌入（78.1%准确率）。一个自适应分类器使用基于观察到的利用率模式调整的阈值，将预测映射到集群规模。不熟悉的查询会被保守地路由，系统会从观察到的结果中自动改进。在来自Trino部署的2,954个查询上的实证验证表明，系统在一档规模内的准确率为98.8–99.8%，完全匹配路由准确率为74.8–76.5%。在基准工作负载中，我们的方法将内存不足失败减少了82%，基础设施成本降低了33%，路由开销低于51毫秒。梯度提升达到76.5%的准确率，而图神经网络对于复杂的连接结构达到78.1%的准确率。
Keyword:
Approximate nearest neighbor search
distributed query engines
graph neural networks
learned cost models
multi-cluster routing
query performance prediction
vector embeddings
期刊
IF:
3.6
论文数:
9.8W
被引数:
29.4W
机构
引用论文
分享收藏分享收藏分享收藏XGBoost.png)
Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining
OAAI
Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data MiningIF0
OAAI分享收藏分享收藏
查看更多内容