Towards Realistic Error Models for Tabular Data

doi:10.1145/3774914

Towards Realistic Error Models for Tabular Data

2025-12-01

1

PRE

AI

DOI：10.1145/3774914

原文求助

摘要

En 中文

数据错误是现代数据管理与处理系统中的一个关键挑战。监控和缓解数据转换及下游应用（如机器学习（ML）模型训练）中的相关风险，需要对错误产生机制以及错误对数据管道的影响有深刻的理解。然而，该领域的科学进展面临两大主要挑战：一方面，关于数据错误的研究往往不符合FAIR（可发现、可访问、可互操作和可重用）原则，这阻碍了可重复性和比较研究；另一方面，现有的数据错误模型过于简化，无法捕捉现实数据中观察到的错误类型及其分布背后的复杂统计依赖关系。基于数据库管理系统和统计学文献中的先前工作，我们将缺失值理论扩展以涵盖更广泛表格中的错误，并概述了相关错误类型。结合真实数据中常见的错误采样机制与全面的错误分类，我们引入了一种表格数据错误的潜在因子模型，该模型易于实现，并能有效建模实际错误依赖关系。错误采样与错误类型相分离，这使得添加更多错误类型或采样机制时易于扩展。我们使用现有基准，在数据清洗和表格ML任务两种应用场景下评估了我们的模型。在一系列全面的实验中，我们展示了真实错误模型对数据清洗基准的影响。我们的结果还表明，一个简单的生成式错误模型能够捕捉广泛的错误机制，并为数据扰动提供便捷的形式化表述，从而提升数据清洗研究的泛化能力、鲁棒性和可重复性。

Keyword:

Tabular data

data quality

data errors

data error generation

error model

realistic error model

error type

Towards Realistic Error Models for Tabular Data

摘要

期刊

机构

引用论文