arrow
返回

FactorJoin: A New Cardinality Estimation Framework for Join Queries

delete2023-05-30
delete0
delete
OA
AI
DOI:10.1145/3588721delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
基数估计是查询优化中最基本且最具挑战性的问题之一。无论是经典方法还是基于学习的方法,在估计连接查询的基数时都无法获得令人满意的性能。它们要么依赖简化的假设导致基数估计无效,要么构建大型模型以理解复杂的数据分布,从而导致规划时间过长且缺乏跨查询的泛化能力。 在本文中,我们提出了一种新的框架FactorJoin用于估计连接查询。FactorJoin结合了经典连接直方图方法的思路以高效处理连接,并利用基于学习的方法来准确捕捉属性相关性。具体而言,FactorJoin在离线准备阶段扫描DB中的每个表,并构建单表条件分布。当连接查询到达时,FactorJoin将其转换为基于学习分布的因子图模型,以高效且有效地估计其基数。 与现有的基于学习的方法不同,FactorJoin无需预先反规范化连接,也不需要依赖已执行的查询工作负载来训练模型。由于它仅依赖单表统计信息,FactorJoin具有较小的空间开销,且训练和维护极为简便。在我们的评估中,FactorJoin能够比之前的基于学习的方法产生更有效的估计,在达到相当或更高精度的同时,估计延迟降低40倍,模型大小缩小100倍,训练速度提升100倍。此外,FactorJoin可在1秒内估计10,000个子计划查询以优化查询计划,其性能已非常接近商业DBMS中的传统基数估计器。

期刊

暂无期刊信息

机构

暂无机构信息
引用论文

引用论文

暂无论文信息