arrow
返回

RDPro: Distributed Processing of Big Raster Data [Scalable Data Science]

delete2025-04-07
delete0
PRE
AI
Z
Zhuocheng Shang *
S
Samriddhi Singla
A
Ahmed Eldawy
E
Elia Scudiero
DOI:10.14778/3712221.3712229delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
遥感技术的进步使得能够收集具有高达1厘米像素分辨率的庞大卫星和航空影像数据,这些数据以栅格格式存储,对各个研究领域至关重要。然而,处理这些数据面临挑战,包括解决位置、分辨率和坐标系不匹配时的数据依赖性问题,以及在内存限制下管理大型数据集。本文介绍RDPro,一种基于Spark的新型系统,可高效处理和分析大型栅格数据集。RDPro具有专为分布式无共享环境中的数据依赖性设计的新数据模型,并配备了加载和写入栅格数据的工具。它还优化了Spark中的核心栅格操作,允许用户集成复杂的数据科学工作流。比较分析表明,RDPro的性能比现有系统高出两个数量级。

期刊

P
Proceedings of the VLDB Endowment
IF:
3.3
论文数:
563
被引数:
1.2W

机构

U
Univ Calif Riverside
学者数:
704
论文数: 382
被引数: 128
引用论文

引用论文

Simba
err2016-06-14
err0
errOAAI
errDong Xie; Feifei Li; Bin Yao; Gefei Li; Liang Zhou; Minyi Guo
err分享
err收藏
err分享
err收藏
ChronosDB
err2018-06-01
err0
PREAI
errRamon Antonio Rodriges Zalipynis
err分享
err收藏
err
IF0
err
err0
PREAI
err
err分享
err收藏
Evaluation of uncalibrated energy balance model (BAITSSS) for estimating evapotranspiration in a semiarid, advective climate
err2019-06-02
err0
PREAI
errRamesh Dhungel; Robert Aiken; Paul D. Colaizzi; Xiaomao Lin; Dan O'Brien; R. Louis Baumhardt; David K. Brauer; Gary W. Marek
err分享
err收藏
学者 查看更多内容