Beyond Augmentation: Leveraging Inter-Instance Relation in Self-Supervised Representation Learning

Ali Javidani

doi:10.1109/LSP.2025.3610549

Beyond Augmentation: Leveraging Inter-Instance Relation in Self-Supervised Representation Learning

2025-01-01

0

PRE

AI

Mohammad Amin Sadeghi

DOI：10.1109/LSP.2025.3610549

原文链接

原文求助

摘要

En 中文

本论文介绍了一种将图论融入自监督表示学习的新方法。传统方法主要关注通过数据增强生成的实例内变化，但往往忽略了重要的实例间关系。虽然我们的方法保留了实例内特性，但通过在预训练阶段为教师和学生流构建k-最近邻（KNN）图，进一步捕捉实例间关系。在这些图中，节点表示样本及其潜在表示，边编码实例间的相似性。预训练后，执行表示优化阶段。在此阶段，图神经网络（GNNs）不仅传播邻近节点间的消息，还跨多个跳传播，从而实现更广泛上下文整合。在CIFAR-10、ImageNet-100和ImageNet-1K上的实验结果分别表明，与当前最优方法相比，本方法将准确率提升了7.3%、3.2%和1.0%。这些结果突显了所提基于图的方法的有效性。

Keyword:

Self-supervised learning

representation learning

k-nearest neighbor graph

graph neural networks

Beyond Augmentation: Leveraging Inter-Instance Relation in Self-Supervised Representation Learning

摘要

期刊

机构

引用论文