.png){kind=icon}
.png){kind=icon}
返回
ScoreCL: augmentation-adaptive contrastive learning via score-matching function
.png){kind=icon}
OA
AI
DOI：10.1007/s10994-024-06707-8.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
自监督对比学习（CL）通过最小化正样本对的距离并最大化负样本对的距离，在表示学习中取得了最先进的表现。最近证实，使用多样化增强的正样本对能使模型学习到更好的表示，因为它们使模型更具视角不变性。然而，目前仅有少数关于CL的研究考虑了增强视图之间的差异，且尚未超越手工设计的发现。在本文中，我们首先观察到评分匹配函数可以衡量数据通过增强后与原始数据的差异程度。利用这一性质，CL中的每一对样本可以通过评分差异自适应地加权，从而提升性能。我们通过在CIFAR和ImageNet数据集上的图像分类任务中，持续提升多种CL方法（包括SimCLR、SimSiam、W-MSE和VICReg）的性能，最高达3%，展示了我们方法（称为ScoreCL）的通用性。此外，我们还进行了详尽的实验和消融研究，包括在多样化下游任务上的结果、与可能基线的比较，以及与其他增强方法结合时的进一步应用。我们希望我们的探索能激发更多关于利用评分匹配进行CL的研究。
Keyword:
Contrastive learning
Representation learning
Unsupervised training
Self-supervised learning
Score-matching function