.png){kind=icon}
返回
Do Protein Transformers Have Biological Intelligence?
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-06118-8_22.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
深度神经网络，特别是Transformer，已被广泛应用于预测蛋白质的功能特性。本研究中，我们专注于探索蛋白质Transformer能否在蛋白质序列中捕捉生物智能。为达成此目标，我们首先引入一个蛋白质功能数据集，即Protein-FN，提供超过9000条带有有意义标签的蛋白质数据。其次，我们设计了一种新的Transformer架构，即序列蛋白质Transformer（SPT），用于计算效率高的蛋白质功能预测。第三，我们开发了一种新的可解释人工智能（XAI）技术，称为序列评分（Sequence Score），能够有效解释蛋白质模型的决策过程，从而克服了破解蛋白质Transformer中隐藏生物智能的难题。值得注意的是，我们最小的SPT-Tiny模型仅包含540万参数，仍表现出卓越的预测精度，在抗生素耐药性（AR）数据集上达到94.3%，在Protein-FN数据集上达到99.6%，所有这些均通过从零开始训练完成。此外，我们的序列评分技术有助于揭示，我们的SPT模型能够发现蛋白质数据序列结构中若干有意义的模式，这些模式与生物学领域的专业知识高度一致。我们已在Hugging Face Datasets上正式发布Protein-FN数据集：https://huggingface.co/datasets/Protein-FN/Protein-FN。我们的代码可在https://github.com/fudong03/BioIntelligence获取。
Keyword:
Protein Transformers
Explainable AI
AI for Science
期刊
机构
引用论文
.png){kind=icon}
Grad-CAM++: Generalized Gradient-Based Visual Explanations for Deep Convolutional NetworksGrad-cam: 基于广义梯度的深度卷积网络视觉解释
OAAI
OAAI分享收藏ProtTrans: Toward Understanding the Language of Life Through Self-Supervised LearningProtTrans: 通过自我监督学习来理解生活语言OAAI
OAAI分享收藏Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural NetworksScore-CAM: 卷积神经网络的分数加权视觉解释OAAI
OAAI分享收藏
查看更多内容