arrow
返回

Enhancing Data Ingestion Efficiency in Cloud-Based Systems: A Design Pattern Approach

delete2025-07-15
delete0
delete
OA
AI
C
Chiara Rucco *
A
Antonella Longo
M
Motaz Saad
DOI:10.1007/s41019-025-00300-2delete
delete原文链接
delete分享
delete收藏
查看原文
摘要

摘要

En 中文
本文旨在为基于云架构的数据摄取技术定义特定的设计模式,以应对与高容量数据处理相关的挑战。该方法利用一个灵活的、元数据驱动的框架,增强了适应性和易用性。该框架支持增量和全刷新方法,允许对摄取类型、模式更新、表添加以及新数据源的整合进行无缝更改,同时最大限度减少数据工程师的干预。所提出的设计模式已通过在Azure和Google Cloud平台上进行的实验进行验证。实验表明,所提出的设计模式显著减少了数据摄取时间,展示了其在管理高容量数据摄取方面的有效性。本文通过提出一套针对基于云架构的数据摄取的全面设计模式定义,为数据管理领域做出了贡献,有效解决了高容量数据处理中的关键挑战。
Keyword:
Data ingestion
Data engineering
Design patterns
Cloud
AI总结

AI总结

对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

期刊

D
Data Science and Engineering
IF:
4.6
论文数:
249
被引数:
665

机构

D
Department of Engineering Innovation
学者数:
3
论文数: 1
被引数: 0
引用论文

引用论文

Lambda architecture for cost-effective batch and speed big data processing
err2015-10-01
err0
errOAAI
errMariam Kiran; Peter Murphy; Inder Monga; Jon Dugan; Sartaj Singh Baveja
err分享
err收藏
Data Mesh: Concepts and Principles of a Paradigm Shift in Data Architectures
err2022-01-01
err0
errOAAI
errInês Araújo Machado; Carlos Costa; Maribel Yasmina Santos
err分享
err收藏
err分享
err收藏
学者 查看更多内容