.png){kind=icon}
返回
Reprogramming pretrained language models for protein sequence representation learning
.png){kind=icon}
OA
AI
DOI：10.1039/d4dd00195h.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
机器学习指导的蛋白质学习任务解决方案近年来取得了显著进展。然而，科学发现任务的成功受限于易于获取的、定义明确且有标注的领域内数据的可用性。为应对低数据约束，近期对在数百万蛋白质序列上预训练的深度学习模型的适应性改进显示出希望；然而，构建此类领域特定的超大规模模型计算成本高昂。在此，我们提出了基于字典学习的表示重编程（R2DL），一种端到端的表示学习框架，我们通过重编程深度模型以适应跨领域任务，使其能够在蛋白质属性预测中用显著更少的训练样本实现良好性能。R2DL通过学习英语与蛋白质序列词汇嵌入之间的稀疏线性映射，将预训练的英语语言模型重编程以学习蛋白质序列的嵌入。我们的模型能够实现更高的精度，并相较于预训练和标准监督方法设定的基线，在数据效率上提升高达104倍。为此，我们重编程了多种近期先进的预训练英语语言分类模型（BERT、TinyBERT、T5和roBERTa），并在一组蛋白质物理化学预测任务（二级结构、稳定性、同源性和溶解度）以及一组与生物医学相关的蛋白质功能预测任务（抗菌性、毒性、抗体亲和力和蛋白质-蛋白质相互作用）上进行了基准测试。
Keyword:
PREDICTION
期刊
IF:
5.6
论文数:
997
被引数:
1.7K
机构
引用论文
Neural networks to learn protein sequence-function relationships from deep mutational scanning data
OAAI
OAAI分享收藏Improved protein structure prediction using predicted interresidue orientations使用预测的残基间方向改进蛋白质结构预测OAAI
OAAI分享收藏ProTrek: Navigating the Protein Universe through Tri-Modal Contrastive LearningProTrek：通过三模态对比学习探索蛋白质宇宙.png)
OAAI
IF0
OAAI分享收藏分享收藏Understanding and improving zeroth-order optimization methods on AI-driven molecule optimizationDIGITAL DISCOVERYOAAI
DIGITAL DISCOVERYIF5.6
OAAI分享收藏ProGen2: Exploring the boundaries of protein language modelsProGen2: 探索蛋白质语言模型的边界CELL SYSTEMSOAAI
CELL SYSTEMSIF7.7
OAAI分享收藏分享收藏Learning the protein language of proteome-wide protein-protein binding sites via explainable ensemble deep learning通过可解释的集成深度学习学习蛋白质组范围内的蛋白质-蛋白质结合位点的蛋白质语言OAAI
OAAI分享收藏
查看更多内容