Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation

doi:10.14778/3641204.3641221

Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation

2024-05-02

0

OA

AI

DOI：10.14778/3641204.3641221

原文链接

原文求助

摘要

En 中文

大型语言模型（LLMs）已成为文本到SQL任务的一种新范式。然而，缺乏系统性基准阻碍了设计有效、高效且经济的基于LLMs的文本到SQL解决方案的发展。为应对这一挑战，本文首先对现有的提示工程方法进行了系统性和广泛的比较，包括问题表示、示例选择和示例组织，并基于这些实验结果，详细阐述了它们的优缺点。基于这些发现，我们提出了一种新的集成解决方案，命名为DAIL-SQL，其在Spider排行榜上以86.6%的执行准确率刷新了记录并树立了新的标杆。为探索开源LLM的潜力，我们在各种场景中对其进行研究，并通过监督微调进一步增强了其性能。我们的探索突显了开源LLMs在文本到SQL任务中的潜力，以及监督微调的优缺点。此外，为寻求高效且经济的基于LLMs的文本到SQL解决方案，我们强调了提示工程中的令牌效率，并在此指标下比较了先前的研究。我们希望本研究能加深对基于LLMs的文本到SQL任务的理解，并激发进一步的研究和广泛应用。

Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation

摘要

期刊

机构

引用论文