RAQAG : A framework for automatically generating Q&A datasets with retrieval-augmented generation

Bin Gao

doi:10.1016/j.knosys.2026.115842

RAQAG : A framework for automatically generating Q&A datasets with retrieval-augmented generation

2026-04-01

0

PRE

AI

DOI：10.1016/j.knosys.2026.115842

原文链接

原文求助

摘要

En 中文

目标：大型语言模型（LLMs）需要高质量问答（QA）数据集进行微调和评估，但当前资源受限于规模有限、多样性不足和结构化标注缺乏。这种稀缺性在商业与管理研究领域（如UTD24期刊领域的会计、金融、市场营销、战略和运营）尤为突出，其中领域特定的QA数据集在金融领域之外很少见。方法：为弥合这一差距，我们提出RAQAG框架，通过封闭循环过程（包括数据合成、质量验证和反馈优化）构建QA数据集。RAQAG包含三个核心模块：数据预处理、QA生成和QA评估。QA生成模块采用动态检索增强生成方法，结合三级检索策略（语义向量搜索、BM25检索和BGE重排）以支持动态段落分割并增强文档支撑。QA评估模块采用RACAR多维度评估框架，严格定义五个核心维度：相关性、领域无关性、完整性、准确性和合理性，以及动态指标如证据覆盖率。创新性：RAQAG提出了一种新颖框架，将LLMs与封闭循环过程结合，生成高质量QA数据集。RAQAG支持创建大规模、领域特定的QA语料库，例如包含17,542篇文章来源的170,226条指令式QA对的UTD24_QA。开发了标准化选择题基准UTD24_QA Benchmark，用于系统评估商业与管理知识领域的LLMs。发现：实验表明RAQAG生成更高质量的QA数据集，相较于最佳现有基线在RACAR评分上提升9.45%。该框架在不同输入粒度和超参数设置下表现出稳健性能。面向工程的QAG系统，具有元数据驱动的编排和可视化流程，进一步验证了RAQAG的有效性。源代码公开于https://github.com/Fakerfigure/QAG_System.git。

Keyword:

RAQAG

Question-Answer generation

Retrieval-Augmented Generation

Large Language Models

QA dataset construction

RAQAG : A framework for automatically generating Q&A datasets with retrieval-augmented generation

摘要

期刊

机构