返回
Polytope: an algorithm for efficient feature extraction on hypercubes
DOI:10.1186/s40537-025-01306-3.png)
摘要
En 中文
数据超立方体(datacubes)上的数据提取算法传统上只能沿数据立方体的轴切割数据块。然而,对于许多用例而言,这种方法返回的数据远超用户实际需求,导致不必要的I/O资源消耗。本文提出了一种替代的特征提取技术,该技术仔细计算用户请求形状内包含的数据点的索引。这使得数据存储系统能够仅从数据立方体中读取并返回对用户应用程序有用的字节。我们的主要算法基于高维计算几何概念,并通过逐步将多面体缩减至其内部包含的点来运行。在提供关于其性能和可扩展性的结果之前,我们详细分析了该算法。具体而言,我们展示了使用该算法替代当前实践中的数据提取方法(例如从ECMWF的FDB数据存储中提取气象场,其中特征形状作为后处理步骤事后提取)可以实现高达99%的数据缩减。正如我们稍后讨论的,这种新颖的提取方法将显著帮助扩展对各种科学领域中大型拍字节规模数据超立方体的访问。
Keyword:
Data management
Data processing
Data extraction
Datacube
Computational geometry
期刊
IF:
6.4
论文数:
1.5K
被引数:
1.1W

