Efficient Function Orchestration for Large Language Models

doi:10.1109/TSE.2025.3619112

Efficient Function Orchestration for Large Language Models

2025-10-09

0

PRE

AI

DOI：10.1109/TSE.2025.3619112

原文链接

原文求助

摘要

En 中文

函数调用是当今大语言模型的基本能力，但顺序函数调用存在效率问题。近期研究提出了支持并行性的函数调用请求，以缓解这一问题。然而，这些方法要么将并发函数调用委托给用户执行，反而导致顺序执行，要么忽略了不同函数调用之间的关系，导致效率受限。本文介绍了LLMOrch，一个用于大语言模型中自动化、并行函数调用的先进框架。其核心原理是在识别可用处理器执行函数调用的同时，防止任何单个处理器过载。为此，LLMOrch建模了数据关系（即不同函数调用间的定义-使用（def-use）依赖），并通过控制关系（即互斥）以及底层处理器的工作状态来协调它们的执行。在与最先进技术进行比较时，LLMOrch在编排I/O密集型函数时表现出相当的效率提升，而在处理计算密集型函数时显著优于（2×）现有方法。LLMOrch的性能甚至与分配的处理器数量呈线性相关。我们认为，这些结果凸显了LLMOrch作为大语言模型背景下并行函数编排高效解决方案的潜力。

Keyword:

Large language models

function call

parallel function call

Efficient Function Orchestration for Large Language Models

摘要

期刊

机构

引用论文