arrow
返回

LLM-powered clustering for entity resolution

delete2026-10-03
delete0
PRE
AI
J
Jiajie Fu
H
Haitong Tang
A
Arijit Khan
S
Sharad Mehrotra
X
Xiangyu Ke *
Y
Yunjun Gao
DOI:10.1007/s00778-026-01006-1delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
实体解析(ER)是一项基础的数据质量改进任务,用于识别并关联指向同一现实世界实体的记录。传统ER方法依赖成对比较,因此在规模扩展时会产生高昂的时间和货币成本。近期,大型语言模型(LLMs)在ER任务中展现出有前景的结果。然而,现有方法通常聚焦于成对匹配,未能发挥LLMs直接进行更经济高效且可扩展聚类的潜力。我们提出基于上下文的聚类方法用于ER:通过提示LLMs将小记录集划分为实体,实现批量推理,显著减少API调用和令牌使用。基于系统性地研究集合大小、集合多样性、集合变化和记录排序的实验,我们设计了LLM-CER(基于LLMs的聚类式ER)。我们的方法解决了关键挑战,包括高效簇合并和LLMs误分类问题,为ER提供了一种可扩展且有效的解决方案。为提升框架在跨领域中的可扩展性和有效性,我们还引入了一种混合少样本示例选择方案和一种语义批处理提示算法。在九个真实数据集上的广泛实验表明,我们的方法显著提升了ER质量,最高准确率提高150%,FP度量提升10%,API调用减少高达5倍,同时维持与最经济高效基线相当的成本。
Keyword:
Clustering-based entity resolution
Large language models
In-context learning

期刊

VLDB Journal 封面图
VLDB Journal
IF:
3.8
论文数:
83
被引数:
2.4K

机构

Z
zhejiang university
学者数:
7.2K
论文数: 2.1K
被引数: 0
B
bowling green state university
学者数:
20
论文数: 19
被引数: 0
引用论文

引用论文

Swoosh: a generic approach to entity resolution
err2008-03-11
err0
errOAAI
errOmar Benjelloun; Hector Garcia-Molina; David Menestrina; Qi Su; Steven Euijong Whang; Jennifer Widom
err分享
err收藏
Hallucinations in Large Multilingual Translation Models
err2023-12-14
err23
errOAAI
errGuerreiro, Nuno M.; Alves, Duarte M.; Waldendorf, Jonas; Haddow, Barry; Birch, Alexandra; Colombo, Pierre; Martins, Andre F. T.
err分享
err收藏
Blocking and Filtering Techniques for Entity Resolution: A Survey
err2020-03-20
err82
errOAAI
errPapadakis, George; Skoutas, Dimitrios; Thanos, Emmanouil; Palpanas, Themis
err分享
err收藏
err分享
err收藏
Effective entity matching with transformers
err2023-01-17
err0
PREAI
errYuliang Li; Jinfeng Li; Yoshi Suhara; AnHai Doan; Wang-Chiew Tan
err分享
err收藏
Integrated Heterogeneous Graph Attention Network for Incomplete Multi-modal Clustering
err2024-04-24
err1
PREAI
errWang, Yu; Yao, Xinjie; Zhu, Pengfei; Li, Weihao; Cao, Meng; Hu, Qinghua
err分享
err收藏
Deep learning for blocking in entity matching
err2021-10-27
err0
PREAI
errSaravanan Thirumuruganathan; Han Li; Nan Tang; Mourad Ouzzani; Yash Govind; Derek Paulsen; Glenn Fung; AnHai Doan
err分享
err收藏
Distance between Sets
err1971-11-01
err0
PREAI
errMICHAEL LEVANDOWSKY; DAVID WINTER
err分享
err收藏
Entity resolution
err2012-08-01
err0
PREAI
errLise Getoor; Ashwin Machanavajjhala
err分享
err收藏
Duplicate record detection: A survey
err2007-01-01
err1.2K
errOAAI
errElmagarmid, Ahmed K.; Ipeirotis, Panagiotis G.; Verykios, Vassilios S.
err分享
err收藏
学者 查看更多内容