Semantic Operators and Their Optimization: Enabling LLM-Based Data Processing with Accuracy Guarantees in LOTUS

Liana Patel

doi:10.14778/3749646.3749685

2025-07-01

PRE

DOI：10.14778/3749646.3749685

原文链接

原文求助

摘要

En 中文

大型语言模型（LLMs）的语义能力有望支持对海量知识库进行丰富的分析和推理。然而，现有系统要么经验性地优化昂贵的基于LLM的操作且不提供性能保证，要么将支持限制于简单的批量推理原语。我们引入了语义算子，这是首个为通用AI操作（如使用自然语言条件进行记录的过滤、排序、连接或聚合等）提供统计精度保证的形式化方法。每个算子可由多种AI算法实现，这些算法通过组合单个模型调用来协调模型对数据的处理。我们的编程模型使用高质量的参考算法规范了每个算子的预期行为，并开发了一个优化框架，在降低成本的同时为各算子提供精度保证。基于此方法，我们提出了若干新颖优化，可将语义过滤、连接、分组和top-k操作加速至原来的1,000倍。我们在LOTUS系统中实现了语义算子，并通过实际批量语义处理应用（包括事实核查、生物医学多标签分类、搜索和主题分析）展示了LOTUS的有效性。我们证明语义算子模型具有高度表达能力，只需少量算子调用即可捕获最先进的AI流水线，且能轻松表达新的流水线，其质量可达到或超过近期基于LLM的分析系统的170%，同时提供精度保证。总体而言，LOTUS程序在各项任务中达到或超过了最先进AI流水线的精度，且运行速度比最高质量基线快3.6倍。LOTUS的公开代码库位于https://github.com/lotus-data/lotus。