.png){kind=icon}
返回
Endowing protein language models with structural knowledge
.png){kind=icon}
OA
AI
DOI：10.1093/bioinformatics/btaf582.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
动机 蛋白质语言模型（PLMs）通过仅从序列数据中学习丰富的表示，已经改变了蛋白质研究，但它们在很大程度上忽略了通过结构预测进展现在可获得的丰富结构信息。当前整合结构数据的方法通常需要大量的计算资源和复杂的架构，限制了其实际应用。我们提出了一种新颖的联合序列和结构嵌入方法，在保持高性能的同时实现了计算和参数效率。我们的方法引入了一种轻量级集成框架，将预训练序列变换器的自注意力与专门的结构适配器相结合，通过这些增强的自注意力机制，能够无缝地将结构知识整合到现有的PLMs中。
结果 该方法展示了卓越的效率，仅需在542K蛋白质结构上进行适度的预训练，比用于训练PLMs的数据量低三个数量级，使用标准的掩码语言建模目标。尽管采取了这种轻量级方法，我们的联合嵌入在持续优于仅序列模型（如ESM-2）的同时，与使用更多参数和计算资源的更复杂的基于结构的方法取得了可比的结果。这项工作建立了一种新的蛋白质表示学习范式，平衡了性能与实践约束。通过提供计算高效的联合序列-结构嵌入，我们为科学界提供了一种易于使用的工具，能够捕捉蛋白质的序列和结构信息，而无需结构感知模型通常带来的计算开销。
可用性与实现 代码和检查点链接可在 https://github.com/BorgwardtLab/PST 获取。
Keyword:
DATABASE
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
5.4
论文数:
1.1K
被引数:
17.9W
机构
引用论文
Structure is three to ten times more conserved than sequence-A study of structural response in protein cores结构比序列保守三至十倍 -- 蛋白质核心结构反应的研究
OAAI
OAAI分享收藏Deep generative models of genetic variation capture the effects of mutations遗传变异的深度生成模型捕捉了突变的影响.png)
NATURE METHODSOAAI
NATURE METHODSIF32.1
OAAI分享收藏LM-GVP: an extensible sequence and structure informed deep learning framework for protein property predictionSCIENTIFIC REPORTSOAAI
SCIENTIFIC REPORTSIF3.9
OAAI分享收藏Turnover number predictions for kinetically uncharacterized enzymes using machine and deep learningNATURE COMMUNICATIONSOAAI
NATURE COMMUNICATIONSIF15.7
OAAI分享收藏DPFunc: accurately predicting protein function via deep learning with domain-guided structure informationDPFunc：通过深度学习结合领域引导的结构信息准确预测蛋白质功能NATURE COMMUNICATIONSOAAI
NATURE COMMUNICATIONSIF15.7
OAAI分享收藏
查看更多内容