.png){kind=icon}
返回
Revisiting workflow execution in HPC: a data-flow approach
.png){kind=icon}
PRE
AI
DOI：10.1007/s42514-025-00256-9.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
科学工作流对现代科学计算至关重要，但基于控制流范式和基于磁盘的数据传输的传统执行方法正面临挑战，因为数据传输而非计算成为主导性能瓶颈。这些方法由于集中式编排、任务串行触发以及低效的磁盘中介交换而受到高延迟的困扰。我们提出HPCFlow，一种面向数据流的工作流框架，专为高性能计算（HPC）环境设计。HPCFlow支持去中心化、输入驱动的执行方式。函数被分解为计算和数据传输，实现异步数据传播和高效重叠。HPCFlow整合了上下文感知的数据传输策略，并通过小批量处理缓解小文件I/O的低效性。此外，HPCFlow实现了输入同步机制，以确保在弹性扩展条件下并行执行时的数据完整性。来自生产HPC环境的实证结果表明，与控制流基线相比，HPCFlow显著减少了总执行时间和端到端延迟，实现了高效重叠，并减轻了网络文件系统的压力，从而验证了其对数据密集型科学工作流的有效性。
Keyword:
Scientific Workflows
High-Performance Computing (HPC)
Cloud Computing
Data-Flow Execution
Data Movement Optimization
期刊
C
IF:
1.9
论文数:
38
被引数:
253
机构
引用论文
.png){kind=icon}
分享收藏分享收藏
查看更多内容