返回
ComplexAgents: Complex Code Generation Framework Based on Multi-agents and Large Language Model
DOI:10.1007/978-3-031-93254-0_11.png)
摘要
En 中文
快速发展的生成式大语言模型(LLMs)已被用于代码生成。然而,现有的基于LLMs的代码生成方法虽然在简单任务上有效,但在需要复杂推理和理解的复杂任务(如APPS+数据集)上往往表现不佳。受软件开发的团队协作范式启发,我们提出了ComplexAgents,一个基于LLMs的多智能体代码生成框架,以解决复杂代码生成不令人满意且效率低下的问题。具体而言,ComplexAgents率先将典型的人类工作流程(瀑布模型)融入复杂代码生成中。通过为不同智能体分配不同角色,ComplexAgents有效地将复杂任务分解为一系列可管理的子任务并高效整合,从而提升代码生成的准确性和效率。实验结果表明,ComplexAgents在HumanEval和MBPP任务上相对于基础LLM智能体(GPT-4-Turbo)的Pass@1分别提升了40.1%和1.4%。此外,在APPS+等复杂代码生成任务上,ComplexAgents在入门级、面试级和竞赛级三个难度类别中分别达到了70.4%、49.6%和20.6%的Pass@1,而当时最先进技术(sota)仅达到59.7%、23.5%和8.6%,这表明我们的方法在现实世界代码生成中具有显著前景。
Keyword:
Large Language Models
Multi-Agents
Code Generation
期刊
机构
引用论文
A Brief Overview of ChatGPT: The History, Status Quo and Potential Future Development简要概述ChatGPT: 历史,现状和潜在的未来发展
CodeT5+: Open Code Large Language Models for Code Understanding and GenerationCodeT5: 用于代码理解和生成的开放代码大型语言模型
没有更多内容

