.png){kind=icon}
返回
Data management for distributed computational workflows: An iRODS-based setup and its performance
.png){kind=icon}
PRE
AI
DOI：10.1371/journal.pone.0340757.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
现代数据管理框架承诺实现跨存储后端的数据和元数据的灵活高效管理。然而，此类主张需要在日常实践中进行有意义的测试。我们推测，此类框架应适用于构建使用地理分布的高性能和云计算系统的作业流程的数据后端。此类后端中的跨站点数据传输应能大幅饱和网络带宽，特别是在缓冲区大小等参数优化时。为进一步探索，我们评估了以规则为导向的数据系统iRODS与EUDAT的B2SAFE模块作为LEXIS平台内复杂计算作业流程编排和分布式数据管理的分布式数据基础设施的数据后端。本研究重点在于检验我们的推测——即构建和评估数据基础设施，以及测量连接LEXIS的两个选定超级计算站点之间的广域网数据传输性能。我们分析了局限性并识别优化机会。有效利用可用网络带宽是可能的，且取决于合适的客户端配置和文件大小。我们的工作表明，iRODS等系统如今符合集成于涉及基于Web的认证流程（OpenID Connect）和丰富在线服务的联邦计算基础设施的要求。我们正在EXA4MIND项目中继续利用这些特性，旨在优化数据密集型作业流程，并整合用于管理结构化和非结构化数据的各类系统。
Keyword:
CLOUD
期刊
IF:
2.6
论文数:
2.6W
被引数:
81.6W
机构
引用论文
.png){kind=icon}
分享收藏分享收藏
分享收藏分享收藏
查看更多内容