.png){kind=icon}
.png){kind=icon}
返回
Scythe: A Python toolkit for orchestrating embarrassingly parallel experiments via distributed queues
.png){kind=icon}
PRE
AI
DOI：10.1016/j.softx.2026.102701.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
跨学科的科学和工程研究人员经常需要执行大规模的并行实验，但缺乏管理任务队列、工件存储和结果聚合的分布式计算专业知识。Scythe是一个开源的Python库，通过在Hatchet分布式任务引擎之上提供一个轻量级、模式驱动的编排层来弥补这一差距。用户通过完全类型安全的Pydantic模型定义输入和输出规范，通过装饰器注册模拟函数，并通过单个调用启动版本化的实验运行。Scythe自动处理S3工件管理、用于高吞吐量任务分配的递归分散/聚集扇出，以及将结果自底向上聚合到结构化的Parquet数据集中。该工具包支持从本地Docker Compose设置到具有按需容量的云规模容器化集群的部署。Scythe目前正在麻省理工学院可持续发展设计实验室积极用于涉及数百万次模拟的城市建筑能源建模研究。
Keyword:
Distributed computing
Embarrassingly parallel
Experiment orchestration
Python
Building energy modeling
Workflow automation