.png){kind=icon}
返回
Scalable and Maintainable Distributed Sequence Alignment Using Spark
.png){kind=icon}
PRE
AI
DOI：10.1109/TCBBIO.2025.3565188.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基因组数据的指数级增长给生物信息学研究带来了挑战。NCBI BLAST作为一种流行的成对序列比对工具，无法扩展到数百GB的测序数据。因此，mpiBLAST被广泛采用并扩展至65,536个处理器。然而，mpiBLAST与一个过时的NCBI BLAST版本紧密耦合，这给随着NCBI BLAST代码不断变化而升级mpiBLAST带来了挑战。最近的并行BLAST实现，如SparkBLAST，使用与NCBI BLAST分离的并行性包装器来解决这一问题。然而，查询划分（一种在每個计算节点上复制基因组数据库的并行方法）使得SparkBLAST在处理超出单节点内存大小的数据库时扩展性较差。因此，目前尚无并行BLAST工具能同时解决性能、可扩展性和软件可维护性问题。为填补这一空白，我们介绍了SparkLeBLAST，这是一种基于Spark框架并采用高效数据划分的并行BLAST工具，它结合了mpiBLAST的性能和可扩展性，以及SparkBLAST的简洁性和可维护性。SparkLeBLAST使领域科学家无需丰富的分布式计算经验即可进行可扩展的基因组分析。SparkLeBLAST的运行速度比SparkBLAST快6.68倍。同时，SparkLeBLAST通过使用128个计算节点将BLAST搜索组件加速88.6倍，从而将COVID-19基因组多样性分析的分类分配任务加速20.9倍。
Keyword:
BLAST
Big Data
high-performance computing
Spark
COVID-19
genomic diversity analysis
期刊
I
IF:
3.4
论文数:
3.3K
被引数:
6.4K
机构
引用论文
Big data in healthcare: management, analysis and future prospects医疗大数据: 管理、分析与未来展望.png)
JOURNAL OF BIG DATA
OAAI
JOURNAL OF BIG DATAIF6.4
OAAI分享收藏
NCBI reference sequences (RefSeq): a curated non-redundant sequence database of genomes, transcripts and proteinsNUCLEIC ACIDS RESEARCHOAAI
NUCLEIC ACIDS RESEARCHIF13.1
OAAI分享收藏
查看更多内容