arrow
返回

Polytope: an algorithm for efficient feature extraction on hypercubes

delete2025-11-01
delete0
delete
OA
AI
M
Mathilde Leuridan *
J
James Hawkes
S
Simon D. Smart
E
Emanuele Danovaro
M
Martin G. Schultz
T
Tiago Quintino
DOI:10.1186/s40537-025-01306-3delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
数据超立方体(datacubes)上的数据提取算法传统上只能沿数据立方体的轴切割数据块。然而,对于许多用例而言,这种方法返回的数据远超用户实际需求,导致不必要的I/O资源消耗。本文提出了一种替代的特征提取技术,该技术仔细计算用户请求形状内包含的数据点的索引。这使得数据存储系统能够仅从数据立方体中读取并返回对用户应用程序有用的字节。我们的主要算法基于高维计算几何概念,并通过逐步将多面体缩减至其内部包含的点来运行。在提供关于其性能和可扩展性的结果之前,我们详细分析了该算法。具体而言,我们展示了使用该算法替代当前实践中的数据提取方法(例如从ECMWF的FDB数据存储中提取气象场,其中特征形状作为后处理步骤事后提取)可以实现高达99%的数据缩减。正如我们稍后讨论的,这种新颖的提取方法将显著帮助扩展对各种科学领域中大型拍字节规模数据超立方体的访问。
Keyword:
Data management
Data processing
Data extraction
Datacube
Computational geometry

期刊

Journal of Big Data 封面图
Journal of Big Data
IF:
6.4
论文数:
1.5K
被引数:
1.1W

机构

D
department of mathematics and computer science
学者数:
183
论文数: 107
被引数: 0
引用论文

引用论文

err1997-01-01
err0
PREAI
errJim Gray; Surajit Chaudhuri; Adam Bosworth; Andrew Layman; Don Reichart; Murali Venkatrao; Frank Pellow; Hamid Pirahesh
err分享
err收藏
Sweeping of three-dimensional objects
err1990-05-01
err0
errOAAI
errR.R. Martin; P.C. Stephenson
err分享
err收藏
Destination Earth: High-Performance Computing for Weather and Climate
err2022-11-01
err0
errOAAI
errNils Wedi; Peter Bauer; Irina Sandu; Jörn Hoffmann; Sophia Sheridan; Rafael Cereceda; Tiago Quintino; Daniel Thiemert; Thomas Geenen
err分享
err收藏
err分享
err收藏
err分享
err收藏
The quickhull algorithm for convex hulls凸包的quickhull算法
err1996-12-01
err0
errOAAI
errC. Bradford Barber; David P. Dobkin; Hannu Huhdanpaa
err分享
err收藏
Array databases: concepts, standards, implementations
err2021-02-02
err25
errOAAI
errBaumann, Peter; Misev, Dimitar; Merticariu, Vlad; Huu, Bang Pham
err分享
err收藏
学者 查看更多内容