.png){kind=icon}
返回
Keep Your Distributed Data Warehouse Consistent at a Minimal Cost
.png){kind=icon}
PRE
AI
DOI：10.1145/3589770.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大型数据仓库存储相互依赖的表，这些表会独立更新以响应业务逻辑变更或关键数据的延迟到达。为保持仓库一致性，上游表的变更需要及时传播至下游表。然而，简单的变更传播算法可能导致下游表产生大量不必要的更新或重新计算，从而增加数据仓库管理的成本。
在本文中，我们描述了一种解决方案，该方案能在确保数据仓库最终一致性的同时避免不必要的表更新。我们还证明了，通过求解一个动态规划问题，可以找到计算成本降低与满足数据新鲜度约束之间的最优权衡。
所提出的解决方案目前用于管理YouTube数据仓库，并通过消除非平凡的重复请求，将更新请求减少了25%。这些请求原本需要通过大数据批处理作业执行。消除这些请求已导致计算资源按比例减少。
我们方法的一个关键优势在于，它可用于异构分布式数据仓库环境中，其中操作软件可能无法完全控制查询处理器。这是因为我们的方法仅依赖于表的依赖信息，并可以基于数据源的后状态进行操作。
期刊
暂无期刊信息
机构
暂无机构信息
引用论文
暂无论文信息