返回
DAFDISCOVER: Robust Mining Algorithm for Dynamic Approximate Functional Dependencies on Dirty Data
DOI:10.14778/3681954.3682015.png)
摘要
En 中文
数据依赖挖掘在理解数据关系方面发挥着关键作用。为应对现实世界数据的日益复杂性,引入了基于传统函数依赖(FD)的近似函数依赖(AFDs)。然而,现有AFD方法使用静态松弛系数,限制了其在捕捉噪声数据依赖关系方面的有效性。我们提出了一种动态AFD变体DAFD,它融入了属性错误率。我们建立了DAFD与FD之间的双射关系,开发了其推理系统,并引入了DAFDISCOVER算法,可直接在噪声数据上挖掘依赖关系。DAFDISCOVER在时间复杂度和空间复杂度上与当前最优(SOTA)AFD挖掘方法相当,同时提供了更优的性能。我们从理论上证明了其正确性,提供了计算DAFD概率(DAFD-prob)的方法,并推导了DAFD在脏数据上有效性的下界。在多个公开数据集上的实验结果表明,DAFD在语义上优于现有方法,且DAFDISCOVER相较于当前最优AFD挖掘技术在有效性方面具有优势。
Keyword:
EFFICIENT ALGORITHM
DATA QUALITY
DISCOVERY
期刊
P
IF:
3.3
论文数:
563
被引数:
1.2W
机构
暂无机构信息

