.png){kind=icon}
返回
LR-SQL: A Supervised Fine-Tuning Method for Text2SQL Tasks Under Low-Resource Scenarios
.png){kind=icon}
OA
AI
DOI：10.3390/electronics14173489.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在文本到SQL（Text2SQL）任务的监督微调（SFT）中，特别是对于包含大量表的数据库，编码模式特征需要过多的token，导致微调过程中GPU资源需求激增。为解决这一问题，我们提出了LR-SQL，一种通用的双模型SFT框架，包含模式链接模型和SQL生成模型。我们框架的核心是模式链接模型，它在一个新颖的下游任务上训练，该任务被称为基于切片的相关表过滤。该任务将数据库动态划分为可调整的表切片，并依次评估每个切片与输入查询的相关性，从而减少每轮迭代的token消耗。然而，切片分割会破坏数据库信息，损害模型理解完整数据库的能力。因此，我们在训练中引入了思维链（Chain of Thought, CoT），使模型能够从离散切片中重建完整的数据库上下文，进而提升推理保真度。最终，SQL生成模型利用模式链接模型的结果生成最终SQL。大量实验表明，我们提出的LR-SQL相比基线SFT方法将总GPU内存使用量降低了40%，模式链接任务的表预测准确率仅下降2%，整体Text2SQL执行准确率下降可忽略的0.6%。
Keyword:
Text2SQL
supervised fine-tuning
schema linking
database slicing
Chain of Thought
期刊
IF:
2.6
论文数:
1.1W
被引数:
4.7W
机构
引用论文
Zhang, Z.; Yao, Y.; Zhang, A.; Tang, X.; Ma, X.; He, Z.; Wang, Y.; Gerstein, M.; Wang, R.; Liu, G.; et al. Igniting language intelligence: The hitchhiker’s guide from chain-of-thought reasoning to language agents. ACM Comput. Surv. 2025, 57, 1–39. [Google Scholar] [CrossRef]张, Z.; 姚, Y.; 张, A.; 汤, X.; 马, X.; 何, Z.; 王, Y.; Gerstein, M.; 王, R.; 刘, G.; et al. 点燃语言智能: 从思维链推理到语言代理的 hitchhiker’s guide. ACM Comput. Surv. 2025, 57, 1–39. [Google Scholar] [CrossRef].png)
IF0
PREAI
分享收藏Demonstration of DB-GPT: Next Generation Data Interaction System Empowered by Large Language ModelsDB-GPT演示：由大型语言模型赋能的下一代数据交互系统OAAI
OAAI分享收藏Xiao, D.; Chai, L.; Zhang, Q.W.; Yan, Z.; Li, Z.; Cao, Y. CQR-SQL: Conversational Question Reformulation Enhanced Context-Dependent Text-to-SQL Parsers. In Proceedings of the Findings of the Association for Computational Linguistics: EMNLP 2022, Abu Dhabi, United Arab Emirates, 7–11 December 2022; Goldberg, Y., Kozareva, Z., Zhang, Y., Eds.; pp. 2055–2068. [Google Scholar] [CrossRef]肖, D.; 柴, L.; 张, Q.W.; 严, Z.; 李, Z.; 曹, Y. CQR-SQL: 基于对话式问题改写增强的上下文依赖Text-to-SQL解析器。发表于计算语言学协会会议录: EMNLP 2022, 阿布扎比, 阿拉伯联合酋长国, 2022年12月7–11日; 编辑: Goldberg, Y., Kozareva, Z., Zhang, Y.; 页码: 2055–2068. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏Shi, L.; Tang, Z.; Zhang, N.; Zhang, X.; Yang, Z. A Survey on Employing Large Language Models for Text-to-SQL Tasks. arXiv 2024, arXiv:2407.15186. [Google Scholar] [CrossRef]Shi, L.; Tang, Z.; Zhang, N.; Zhang, X.; Yang, Z. 大型语言模型在文本到SQL任务中的应用综述. arXiv 2024, arXiv:2407.15186. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLMKnowledge-to-SQL：使用数据专家LLM增强SQL生成OAAI
OAAI分享收藏
查看更多内容