返回
Maximizing data quality while ensuring data protection in service-based data pipelines
DOI:10.1186/s40537-025-01118-5.png)
摘要
En 中文
处理海量数据能力的不断提升,结合服务交付模式的转变,显著改善了数据分析的可扩展性和效率,尤其是在多租户环境中。数据被视为数字产品,并通过编排的服务型数据管道进行处理。然而,数据分析技术的进步并未得到数据治理技术的相应发展,导致在整个管道生命周期中有效管理数据方面存在差距。这一差距凸显了需要创新的服务型数据管道管理方案,以优先平衡数据质量与数据保护。本文提出的框架通过优化服务型数据管道中的服务选择与组合,在最大化数据质量的同时确保符合数据保护要求,该要求以访问控制策略的形式表达。鉴于该问题的NP难特性,定义了一种滑动窗口启发式算法,并将其与穷举方法以及一种代表当前最佳水平的基线模型进行了评估比较。结果表明,该方法在显著降低计算开销的同时保持了高质量的数据。
Keyword:
Access control
Big data
Data protection
Data quality
Privacy
Service-based data pipelines
期刊
IF:
6.4
论文数:
1.5K
被引数:
1.1W
机构
引用论文
Privacy-aware Big Data Analytics as a service for public health policies in smart cities隐私感知大数据分析作为智慧城市公共卫生政策的服务

