返回
Enhancing Data Ingestion Efficiency in Cloud-Based Systems: A Design Pattern Approach
DOI:10.1007/s41019-025-00300-2.png)
摘要
En 中文
本文旨在为基于云架构的数据摄取技术定义特定的设计模式,以应对与高容量数据处理相关的挑战。该方法利用一个灵活的、元数据驱动的框架,增强了适应性和易用性。该框架支持增量和全刷新方法,允许对摄取类型、模式更新、表添加以及新数据源的整合进行无缝更改,同时最大限度减少数据工程师的干预。所提出的设计模式已通过在Azure和Google Cloud平台上进行的实验进行验证。实验表明,所提出的设计模式显著减少了数据摄取时间,展示了其在管理高容量数据摄取方面的有效性。本文通过提出一套针对基于云架构的数据摄取的全面设计模式定义,为数据管理领域做出了贡献,有效解决了高容量数据处理中的关键挑战。
Keyword:
Data ingestion
Data engineering
Design patterns
Cloud
AI总结
对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
D
IF:
4.6
论文数:
249
被引数:
665

