Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space

M. Hadi Sepanj

doi:10.3390/bdcc10030078

Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space

2026-03-12

0

OA

AI

DOI：10.3390/bdcc10030078

原文链接

查看原文

摘要

En 中文

自监督学习（SSL）通过优化几何目标（如增强不变性、方差保持和特征去相关）而成为一种强大的表示学习范式，且无需标签。然而，现有大多数方法在欧几里得空间中运行，限制了其捕捉非线性依赖关系和几何结构的能力。在这项工作中，我们提出了Kernel VICReg，一种新颖的自监督学习框架，将VICReg目标引入再生核希尔伯特空间（RKHS）。通过将损失函数的每一项（方差、不变性和协方差）核化，我们获得了一种在双中心核矩阵和希尔伯特-施密特范数上操作的通用公式，从而无需显式映射即可实现非线性特征学习。我们证明，Kernel VICReg能在挑战性条件下缓解表示崩溃的风险，并提升在呈现非线性结构或样本有限的数据集上的性能。在MNIST、CIFAR-10、STL-10、TinyImageNet和ImageNet100上的实证评估表明，与欧几里得VICReg相比，Kernel VICReg取得了持续的性能提升，特别是在非线性结构突出的数据集上表现出显著改进。UMAP可视化仅作为嵌入几何的定性说明，未用作校准或统计验证。我们的结果表明，核化SSL目标是将经典核方法与现代表示学习相结合的有前景的方向。

Keyword:

self-supervised learning

VICReg

Reproducing Kernel Hilbert Space

Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space

摘要

AI总结

期刊

机构

引用论文