Data efficient molecular image representation learning using foundation models

Yonatan Harnik

doi:10.1039/d5sc00907c

2025-01-01

DOI：10.1039/d5sc00907c

原文链接

原文求助

摘要

En 中文

化学中的深度学习（DL）已取得显著进展，但其应用受限于大规模标注数据集的缺乏以及提取有意义的分子特征的难度。分子表示学习（MRL）作为一种强大方法应运而生，通过将特征提取与性质预测解耦来解决这些挑战。在MRL中，首先训练一个深度学习网络从大规模无标注数据集中学习分子特征，然后在较小的专业数据集上进行微调以预测性质。尽管MRL方法已在化学应用中广泛使用，但这些模型通常是从头训练的。在此，我们提出基础模型可以作为开发MRL模型的有利起点。基础模型是在多样化数据集上训练的大型模型，能够处理各种下游任务。例如，像OpenAI的GPT-4这样的大型语言模型可以用极少量的额外数据微调，以执行与其训练任务显著不同的任务。基于这一前提，我们利用OpenAI的视觉基础模型CLIP作为骨干，开发了MoleCLIP，一个分子图像表示学习框架。MoleCLIP仅需显著更少的分子预训练数据即可在标准基准上达到与最先进模型相当的性能。此外，MoleCLIP在均相催化数据集上超越了现有模型，强调了其对分布偏移的鲁棒性，这使其能够有效适应多样化的任务和数据集。将通用基础模型成功应用于化学任务，突显了深度学习（DL）研究的创新在推动合成化学发展方面的潜力，更广泛地，任何以分子性质描述为核心的科学发现领域。

Keyword:

LANGUAGE