返回
LLM-powered clustering for entity resolution
DOI:10.1007/s00778-026-01006-1.png)
摘要
En 中文
实体解析(ER)是一项基础的数据质量改进任务,用于识别并关联指向同一现实世界实体的记录。传统ER方法依赖成对比较,因此在规模扩展时会产生高昂的时间和货币成本。近期,大型语言模型(LLMs)在ER任务中展现出有前景的结果。然而,现有方法通常聚焦于成对匹配,未能发挥LLMs直接进行更经济高效且可扩展聚类的潜力。我们提出基于上下文的聚类方法用于ER:通过提示LLMs将小记录集划分为实体,实现批量推理,显著减少API调用和令牌使用。基于系统性地研究集合大小、集合多样性、集合变化和记录排序的实验,我们设计了LLM-CER(基于LLMs的聚类式ER)。我们的方法解决了关键挑战,包括高效簇合并和LLMs误分类问题,为ER提供了一种可扩展且有效的解决方案。为提升框架在跨领域中的可扩展性和有效性,我们还引入了一种混合少样本示例选择方案和一种语义批处理提示算法。在九个真实数据集上的广泛实验表明,我们的方法显著提升了ER质量,最高准确率提高150%,FP度量提升10%,API调用减少高达5倍,同时维持与最经济高效基线相当的成本。
Keyword:
Clustering-based entity resolution
Large language models
In-context learning
期刊
IF:
3.8
论文数:
83
被引数:
2.4K

