Enhancing Code Transformation in Large Language Models Through Retrieval-Augmented Fine-Tuning

doi:10.1109/TCE.2025.3565294

Enhancing Code Transformation in Large Language Models Through Retrieval-Augmented Fine-Tuning

2025-02-01

0

PRE

AI

DOI：10.1109/TCE.2025.3565294

原文链接

原文求助

摘要

En 中文

大型语言模型(LLMs)在知识推理方面取得了显著进展，并且越来越多地应用于代码补全、法律分析和医疗转录等专业化领域，在这些领域中准确性至关重要。在这些应用中，文档特定的精度比一般推理能力更为关键。本文提出了一种基于检索增强微调(RAFT)的新方法来增强模型生成的输出，特别是在代码转换任务中。RAFT整合了领域特定知识，通过训练模型来区分提示、检索到的文档和目标输出之间的关系，优化了领域内的检索增强生成。这使得模型能够在提取相关信息的同时减轻噪声的影响。实验结果表明，所提出的方法将VB到C#代码转换的准确性提高了2.4%，CodeBLEU提高了1.3%，突显了其在特定领域应用中的有效性。

Keyword:

Deep learning

natural language processing

large language model

vision transformer

retrieval-augmented fine-tuning

Enhancing Code Transformation in Large Language Models Through Retrieval-Augmented Fine-Tuning

摘要

期刊

机构

引用论文