Confusion distillation for Continual Self-Supervised Learning

Liu, Ganghao

doi:10.1016/j.patcog.2026.114071

Confusion distillation for Continual Self-Supervised Learning

2026-09-29

0

PRE

AI

DOI：10.1016/j.patcog.2026.114071

原文链接

原文求助

摘要

En 中文

无监督自学习（SSL）在多种计算机视觉任务中取得了有竞争力的性能，但通常依赖于训练数据独立同分布的假设。在现实场景中，数据往往以非平稳和流式方式到达，给标准SSL方法带来显著挑战。持续自学习（CSSL）通过使模型能够从未标记数据流中学习，提供了一种有前景的解决方案。然而，现有方法常因过度约束正则化而适应性有限，以及任务间的语义干扰导致任务混淆的表示纠缠。为缓解这些局限，我们提出了一种用于无监督持续学习的自学习混淆蒸馏框架。该框架引入辅助自学习分支以提取任务适应性表示，其与骨干网络的解耦设计减轻了序列任务间的表示干扰。为对抗灾难性遗忘并整合跨任务知识，我们引入了混淆蒸馏机制，通过特征拼接和自蒸馏融合历史与当前表示。此外，为防止任务混淆并确保模型稳定性，我们设计了基于CutMix的增强策略与回放机制。该策略确保记忆缓冲区捕捉多样化的任务特定特征，促进有效的跨任务混合，并在增量学习过程中缓解任务混淆。在CIFAR100和ImageNet-Sub基准上的广泛实验表明，我们的方法在多种SSL范式和任务配置下持续优于现有CSSL方法，突显其有效性和泛化性。

Keyword:

Self-supervised learning

Continual learning

Knowledge distillation

Task confusion

Self-supervised learning

Continual learning

Knowledge distillation

Task confusion

Confusion distillation for Continual Self-Supervised Learning

摘要

期刊

机构

引用论文