Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models

doi:10.1145/3714461

Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models

2025-08-18

0

OA

AI

DOI：10.1145/3714461

查看原文

摘要

En 中文

大型语言模型（LLMs）展示了在零样本方式下，根据自然语言意图生成准确代码片段的出色能力，即无需特定微调。尽管先前研究强调了微调LLMs的优势，但这一过程会产生高昂的计算成本，使得在资源匮乏的环境中不切实际，特别是对于具有数十亿参数的模型。为解决这些挑战，先前研究探讨了上下文学习（ICL）和检索增强生成（RAG）作为策略，以通过任务特定的提示示例引导LLMs的生成过程。然而，ICL和RAG引入了不便之处，例如需要设计上下文相关的提示以及缺乏学习任务特定参数，从而限制了下游任务性能。在此背景下，我们预见参数高效微调（PEFT）是一种有前景的方法，能够在保持合理资源消耗的同时，高效地将LLMs专业化到任务特定数据。在本文中，我们针对自动代码生成场景下的LLMs，对PEFT技术进行了全面研究。我们对LLMs的PEFT技术的全面调查揭示了它们在多种LLMs以及三个代表性Python代码生成数据集（Conala、CodeAlpacaPy和APPS）上相较于ICL和RAG的优越性和潜力。此外，我们的研究强调了通过结合PEFT与量化技术，对更大LLMs进行调优以及显著减少内存使用的潜力。因此，本研究为PEFT在软件工程场景中的更广泛应用开辟了机会。

Keyword:

parameter-efficient fine-tuning

large language models

code generation

in-context learning

retrieval-augmented generation

Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models

摘要

AI总结

期刊

机构

引用论文