arrow
返回

DAFDISCOVER: Robust Mining Algorithm for Dynamic Approximate Functional Dependencies on Dirty Data

delete2024-08-30
delete0
PRE
AI
X
Xiaoou Ding
Y
Yixing Lu
W
Wang, Chen
L
Liu, Yida
W
Wang, Jianmin
DOI:10.14778/3681954.3682015delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
数据依赖挖掘在理解数据关系方面发挥着关键作用。为应对现实世界数据的日益复杂性,引入了基于传统函数依赖(FD)的近似函数依赖(AFDs)。然而,现有AFD方法使用静态松弛系数,限制了其在捕捉噪声数据依赖关系方面的有效性。我们提出了一种动态AFD变体DAFD,它融入了属性错误率。我们建立了DAFD与FD之间的双射关系,开发了其推理系统,并引入了DAFDISCOVER算法,可直接在噪声数据上挖掘依赖关系。DAFDISCOVER在时间复杂度和空间复杂度上与当前最优(SOTA)AFD挖掘方法相当,同时提供了更优的性能。我们从理论上证明了其正确性,提供了计算DAFD概率(DAFD-prob)的方法,并推导了DAFD在脏数据上有效性的下界。在多个公开数据集上的实验结果表明,DAFD在语义上优于现有方法,且DAFDISCOVER相较于当前最优AFD挖掘技术在有效性方面具有优势。
Keyword:
EFFICIENT ALGORITHM
DATA QUALITY
DISCOVERY

期刊

P
Proceedings of the VLDB Endowment
IF:
3.3
论文数:
563
被引数:
1.2W

机构

暂无机构信息
引用论文

引用论文

err
IF0
err
err0
PREAI
err
err分享
err收藏
err
IF0
err
err0
PREAI
err
err分享
err收藏
EulerFD: An Efficient Double-Cycle Approximation of Functional DependenciesEulerFD:功能依赖关系的高效双循环近似算法
err2023-04-01
err0
PREAI
errQiongqiong Lin; Yunfan Gu; Jingyan Sai; Jinfei Liu; Kui Ren; Li Xiong; Tianzhen Wang; Yanbei Pang; Sheng Wang; Feifei Li
err分享
err收藏
err分享
err收藏
CORDS
err2004-06-13
err0
PREAI
errIhab F. Ilyas; Volker Markl; Peter Haas; Paul Brown; Ashraf Aboulnaga
err分享
err收藏
err分享
err收藏
学者 查看更多内容