RAG-Targeted SFT Improves RAG-Enhanced Math Reasoning

doi:10.1007/978-981-95-3346-6_24

RAG-Targeted SFT Improves RAG-Enhanced Math Reasoning

2026-01-01

0

PRE

AI

DOI：10.1007/978-981-95-3346-6_24

原文链接

原文求助

摘要

En 中文

数学推理是大型语言模型(LLMs)的关键能力。检索增强生成(RAG)可以帮助LLMs提取上下文信息以提升其数学推理能力。然而，在数学任务中使用RAG并不简单，因为RAG带来的噪声上下文和误导性无关示例可能对数学性能产生负面影响。在这项工作中，我们提出了一种针对RAG的监督微调(SFT)方法，该方法增强了LLMs适应RAG推理策略的能力，在下游数学推理任务中优于标准SFT。此外，我们观察到零样本和RAG推理策略所处理的不同数学问题，这促使我们提出了RAG推理触发器，利用奖励模型结合两种策略的优势并降低推理成本。实验结果表明，我们的简单方法实现了显著的改进（在采用LLaMA3.1-8B-Instruct的MATH数据集上提高了10.6%），同时降低了与RAG相关的推理成本。

Keyword:

Large Language Model

Retrieval-augmented Generation

Mathematical reasoning

RAG-Targeted SFT Improves RAG-Enhanced Math Reasoning

摘要

期刊

机构