Prompt Alchemy: Automatic Prompt Refinement for Enhancing Code Generation

doi:10.1109/TSE.2025.3589634

Prompt Alchemy: Automatic Prompt Refinement for Enhancing Code Generation

0

PRE

AI

DOI：10.1109/TSE.2025.3589634

原文链接

原文求助

摘要

En 中文

代码生成作为一项通过将高层描述转换为可执行代码来自动化软件开发任务，已获得越来越多的关注。尽管大型语言模型（LLMs）在代码生成方面表现出色，但它们的性能在很大程度上依赖于输入提示的质量。当前的提示工程方法涉及手动设计提示，这可能耗时且结果不一致，从而可能限制LLMs在实际应用中的有效性。本文介绍了Prochemy，一种新颖的自动迭代优化提示以增强代码生成的方法。Prochemy通过自动化优化过程、确保推理阶段提示的一致性以及与多智能体系统对齐，解决了手动提示工程的局限性。它基于模型性能迭代优化提示，使用优化的最终提示提高跨任务的一致性和可靠性。我们在三种系列的LLMs上对Prochemy进行了基于自然语言的代码生成和代码翻译任务的评估。结果表明，当Prochemy与现有方法结合时，其性能优于基线提示方法。在HumanEval数据集上，它相比零样本基线分别实现了5.0%（GPT-3.5-Turbo）和1.9%（GPT-4o）的提升。对于当前最优的LDB方法，Prochemy + LDB比独立方法高出1.2%～1.8%。在代码翻译任务中，Prochemy将GPT-4o在Java到Python（AVATAR）的翻译性能从74.5提升至84.1（+12.9%），Python到Java的翻译性能从66.8提升至78.2（+17.1%）。此外，考虑到o1-mini模型集成了提示工程技术，Prochemy在其中仍能保持良好性能，进一步验证了其在代码生成和翻译任务中的有效性。此外，Prochemy被设计为即插即用型，仅需最少人工干预即可优化提示，并能无缝弥合简单提示与复杂框架之间的差距。

Keyword:

Code generation

prompt refinement

automation

Prompt Alchemy: Automatic Prompt Refinement for Enhancing Code Generation

摘要

期刊

机构

引用论文