.png){kind=icon}
返回
FORTE: Online DataFrame Query Optimizer
.png){kind=icon}
PRE
AI
DOI：10.1109/CGO68049.2026.11395223.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
DataFrame库因其灵活的Python接口而在数据科学领域被广泛采用，但其碎片化的API和非结构化查询模式限制了系统性优化。现有研究已探索并行执行或SQL风格的逻辑重写，但这些方法在捕捉DataFrame特定语义和Python控制流上下文方面存在不足。我们提出了FORTE，这是首个在线、源到源查询优化器，通过共享中间表示（DFL）统一了多个DataFrame库。DFL使DataFrame语义显式化，支持用户定义函数（UDF）提升/降级、循环提升和API调优等可组合且可移植的重写规则，以及传统重写（如谓词下推）。FORTE采用轻量级、学习得到的代价模型和贪心搜索来应用这些重写，开销极小，同时支持库内优化和跨库转换。我们在TPC-H、真实Kaggle/GitHub工作负载上的评估表明，FORTE在Pandas、Modin、Polars和Pandas-on-Spark上持续带来显著性能提升（最高52.53倍，平均3.7倍），证明在线、IR引导的重写可显著超越现有DataFrame引擎和重写器，同时实现跨库目标转换。
Keyword:
DataFrame optimization
query rewriting
intermediate representation
online optimization
cross-library compatibility
查看更多机构