.png){kind=icon}
返回
QUEST: Query Optimization in Unstructured Document Analysis
.png){kind=icon}
PRE
AI
DOI：10.14778/3749646.3749713.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
最近，研究人员开始构建由大型语言模型（LLMs）驱动的数据系统，这些系统允许用户分析非结构化文本文档，如同操作数据库一样，因为LLMs在从文档中提取属性方面非常有效。在这样的系统中，基于LLMs的提取操作构成了查询执行的性能瓶颈，这是由于高昂的货币成本和缓慢的LLMs推理。现有系统通常借鉴关系数据库中流行的查询优化原则来生成查询执行计划，但这些计划在最小化LLMs成本方面效果不佳。为填补这一空白，我们提出了QUEST，它包含一系列针对非结构化文档分析的新型优化策略。首先，我们引入了一种基于索引的策略以最小化每次提取操作的成本。借助该索引，QUEST能够快速检索与目标属性相关的文本片段，并将其仅提供给LLMs。此外，我们设计了一种证据增强的检索策略以减少遗漏相关片段的可能性。此外，我们开发了一种实例优化的查询执行策略：由于属性提取成本可能在文档间存在显著差异，QUEST为不同文档生成不同的计划。对于每个文档，QUEST生成一个计划以最小化属性提取的频率。创新之处包括LLMs成本感知的操作符排序策略以及一种优化的连接执行方法，该方法将连接转换为过滤器。在3个真实世界数据集上的广泛实验证明了QUEST的优越性，相较于最先进的基线方法，实现了30%-6倍的节省成本，同时将F1分数提高了10%-27%。
期刊
P
IF:
3.3
论文数:
563
被引数:
1.2W
机构
引用论文
.png){kind=icon}
Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes语言模型实现了生成异构数据湖结构化视图的简单系统
OAAI
OAAI分享收藏分享收藏FreeAL: Towards Human-Free Active Learning in the Era of Large Language ModelsFreeAL：迈向大语言模型时代无需人工的主动学习OAAI
OAAI分享收藏
查看更多内容