Optimizing sample selection for large language model-based entity matching using AssistEM

John Bosco Mugeni

doi:10.1007/s41060-026-01223-5

Optimizing sample selection for large language model-based entity matching using AssistEM

2026-08-03

0

OA

AI

DOI：10.1007/s41060-026-01223-5

原文链接

原文求助

摘要

En 中文

大型语言模型(LLMs)的迅猛发展重塑了自然语言处理领域，为数据集成任务（如实体匹配（EM））带来了新方法。虽然GPT-4等专有模型表现优异，但开源替代方案（如Mistral、DeciLM、Gemma-3）需通过监督微调（SFT）才能在特定领域表现出色。然而，直接训练百亿参数规模的LLM需要处理未筛选语料库，计算成本高昂且环境代价大，耗时数日且效率低下，限制了快速应用部署。我们提出AssistEM框架，通过有原则的数据选择实现LLM在EM任务上的高效适配。AssistEM整合命名实体识别（NER）和TF-IDF信号形成复合评分，利用领域级阈值筛选实体对，构建去噪语义嵌入，并采用图聚类与类别感知采样获取约8000个高质量训练实例的紧凑代表性集合。这实现了快速专业化：AssistEM训练的LLM在4.5小时内收敛，远快于DeciLM-7B的12+小时和Yi-34B的24+小时，同时在各类EM基准测试中超越GPT-4-0613达4.3个F1点、超越Ditto达11个F1点。通过匹配数据质量与模型专业化需求，AssistEM表明选择性微调不仅能加速适配，还能提升训练效率（减少GPU使用时间），使开源LLM能与闭源模型媲美甚至超越。这些结果凸显数据选择是可持续、领域专用LLM部署的关键杠杆。

Keyword:

Instruction fine-tuning

Large language models

Data integration

Data selection

Optimizing sample selection for large language model-based entity matching using AssistEM

摘要

期刊

机构

引用论文