.png){kind=icon}
返回
SAGEC: Syntax-Aware Grammatical Error Correction with Retrieval-Augmented Generation
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-3346-6_18.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
由于大型语言模型（LLMs）强大的推理能力，语法错误纠正（GEC）已显著提升。然而，GEC模型外部知识的缺乏可能导致候选纠正中的语义偏差。为解决此问题，我们提出了一种基于句法的语法错误纠正（SAGEC）方法，用于从LLMs中选择有效的检索句法对，从而引导GEC模型获取最佳候选纠正。首先，我们基于LLMs生成的候选纠正准确率收集句法偏好语料库。其次，我们利用蒙特卡洛树搜索（MCTS）方法从句法偏好语料库中探查有用的检索句法对，以提升LLMs。第三，利用产生的检索句法对微调LLMs，从而获得具有强句法推理能力的句法感知LLMs。最后，我们利用句法感知LLMs对检索句法对进行重排序，并将其整合到基于LLMs的GEC模型中。在多个基准数据集上的实验表明，我们提出的SAGEC模型优于所有强基线模型，在英语和中文数据集上均达到最新技术水平。详细分析显示，我们的SAGEC模型能有效区分句法知识，缓解常规语法错误纠正中的语义偏差。我们的代码将发布于https://github.com/0cloud-hub/SAGEC。
Keyword:
Grammatical Error Correction
Syntax Knowledge
Large Language Models
Retrieval-Augmented Generation
Preference Learning
期刊
N
IF:
0
论文数:
29
被引数:
0
机构
引用论文
.png){kind=icon}
MuCGEC: a Multi-Reference Multi-Source Evaluation Dataset for Chinese Grammatical Error Correction
OAAI
OAAI分享收藏分享收藏
查看更多内容