返回
Large Language Model-Aware In-Context Learning for Code Generation
DOI:10.1145/3715908.png)
摘要
En 中文
大型语言模型(LLMs)在代码生成方面表现出令人印象深刻的无参数学习(ICL)能力。LLMs以包含少量示例和一个新需求的提示上下文作为输入,无需更新任何参数即可输出新程序。现有研究表明,基于ICL的代码生成性能在很大程度上取决于示例的质量,因此催生了关于示例选择的研究:针对一个新需求,从候选池中选择少量示例,期望LLMs能够学习这些选定示例中隐藏的模式。现有方法大多基于启发式规则或随机选择示例。然而,随机选择的示例分布通常差异很大,导致LLMs的性能不够稳定。启发式方法仅考虑需求的文本相似性来检索示例,导致性能欠佳。
Keyword:
In-Context Learning
Code Generation
Large Language Models
Demonstration Example Selection
Prompt Engineering

