.png){kind=icon}
返回
Detecting reconciliation discrepancies in tabular data using transformers
.png){kind=icon}
OA
AI
DOI：10.3389/frai.2026.1840051.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大型组织在数据湖中维护异构数据集，其中模式可变性、不一致格式和语义模糊性使数据对齐复杂化。实现实体统一视图需要同时捕捉结构等价性和语义关系的方法。我们提出一种基于转换器的方法，通过生成元数据增强嵌入（表标题、列名、类型和统计信息）来适配预训练语言模型（PLMs）到表格数据。这些嵌入通过相互Top-K相似性、值级验证和Facebook AI相似性搜索（FAISS）进行差异检测。通过人工标注每数据集1,000对列建立真实标签，三名标注者达成显著一致（Cohen’s κ=0.82）。在185,909张大规模表格数据上的实验表明，语义嵌入能高效发现关系和差异，在τ=0.9时精确率达到0.958，F1值介于0.77–0.87。与基线方法（精确匹配、Jaccard相似度、编辑距离、TF-IDF/BM25、句子转换器嵌入、DeepJoin风格嵌入及仅模式名匹配）对比显示，词法基线精确度高但召回率低，语义基线能捕捉关系但在异构表格上表现欠佳。相比之下，我们的元数据增强转换器嵌入始终取得最高F1值。与先前基于模式对齐或查询驱动的DeepJoin、WarpGate和Lotus等方法不同，本研究提出统一对齐流程，整合等价性和语义匹配以处理大规模表格数据。关键贡献在于可扩展且通用的对齐方法，通过转换器架构实现异构环境下的自动化差异检测，兼具方法论创新性和实用有效性。
Keyword:
transformer models,data lakes,discrepancy detection in tabular datasets,entity matching,semantic embeddings
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
F
IF:
4.7
论文数:
2.5K
被引数:
4.4K
机构
引用论文
Modern alternatives to hive: A systematic review and single-node benchmark of SQL-on-Hadoop and lakehouse engines现代Hive替代方案：SQL-on-Hadoop和lakehouse引擎的系统综述与单节点基准测试.png)
Information Systems
Information SystemsIF3.4
PREAI
分享收藏Data Imputation in Large Datasets: A Comparative Study of PCA and Machine Learning Approaches大型数据集中的数据插补：PCA与机器学习方法比较研究
OAAI
OAAI分享收藏Learning Execution Plan Embeddings for Multi-Dimensional Query Resource Prediction学习执行计划嵌入以进行多维查询资源预测IEEE AccessOAAI
IEEE AccessIF3.6
OAAI分享收藏Towards Automating Domain-Specific Data Generation for Text-to-SQL: A Comprehensive Approach面向文本到SQL的领域特定数据生成自动化：一种全面的方法
PREAI
分享收藏Beyond similarity: Mutual information-guided retrieval for in-context learning in VQA超越相似性：基于互信息引导的检索在视觉问答中的上下文学习Pattern Recognition
Pattern RecognitionIF7.6
PREAI
分享收藏Blockingpy: approximate nearest neighbours for blocking of records for entity resolutionBlockingpy：实体解析中记录分块的近似最近邻
IF0
PREAI
分享收藏Douze, M.; Guzhva, A.; Deng, C.; Johnson, J.; Szilvasy, G.; Mazaré, P.E.; Lomeli, M.; Hosseini, L.; Jégou, H. The Faiss library. arXiv 2024, arXiv:2401.08281. [Google Scholar] [CrossRef]Douze, M.; Guzhva, A.; Deng, C.; Johnson, J.; Szilvasy, G.; Mazaré, P.E.; Lomeli, M.; Hosseini, L.; Jégou, H. Faiss库。arXiv 2024, arXiv:2401.08281. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏
查看更多内容