返回
The Wrecking SQL Incremental Validation Methodology
DOI:10.1007/978-3-032-02088-8_30.png)
摘要
En 中文
大型语言模型(LLMs)在文本到SQL性能方面取得了显著进展,能够将自然语言查询转换为SQL查询。BIRD基准测试是一个跨域数据集,包含来自95个数据库的12,751个问题-SQL对,目前是该领域最具挑战性的基准测试。然而,其排行榜被依赖闭源LLM的解决方案主导,为研究人员设置了财务障碍。本文专注于利用开源模型,并提出了一种称为Wrecking SQL的增量验证方法,该方法通过六个步骤,逐步修改数据集的架构,用无意义的列和表名替换有意义的名称——这是在遗留SQL系统中发现的实际问题。我们探讨了无意义名称如何影响LLM的准确性,并证明推断有意义的名称可以提高翻译准确性。
Keyword:
Text-to-SQL
Large Language Models
Schema Nomenclature

