Representation Learning by Detecting Incorrect Location Embeddings

doi:10.1609/aaai.v37i8.26160

Representation Learning by Detecting Incorrect Location Embeddings

2023-06-26

0

OA

AI

DOI：10.1609/aaai.v37i8.26160

原文链接

原文求助

摘要

En 中文

在本研究中，我们提出了一种新颖的自监督学习（SSL）损失函数用于图像表示学习。目前普遍认为，深度神经网络的泛化能力与其区分物体形状的能力相关。由于物体形状与其部件位置相关，我们提出检测那些被人为错位放置的部件。我们使用图像标记（tokens）表示物体部件，并训练一个ViT模型来检测哪些标记与错误的位置嵌入相结合。随后，我们引入输入稀疏性以增强模型对遮挡的鲁棒性并加速训练。我们将该方法命名为DILEMMA，代表“使用掩码输入检测错误位置嵌入”（Detection of Incorrect Location EMbeddings with MAsked inputs）。我们将DILEMMA应用于MoCoV3、DINO和SimCLR，并在相同训练时间及线性探测（linear probing）ImageNet-1K转移学习条件下，分别使它们的性能提升4.41%、3.97%和0.5%。此外，我们还展示了在ImageNet-100数据集上，结合MAE与我们的方法进行全微调的改进效果。我们通过在常见SSL基准上进行微调来评估该方法。此外，我们还证明，当下游任务高度依赖形状（例如在YOGA-82姿态数据集中），我们的预训练特征相比先前工作能带来显著增益。

Representation Learning by Detecting Incorrect Location Embeddings

摘要

期刊

机构

引用论文