Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning

doi:10.1609/aaai.v38i11.29079

Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning

2024-03-24

0

OA

AI

DOI：10.1609/aaai.v38i11.29079

原文链接

原文求助

摘要

En 中文

持续学习（CL）已展现出有前景的结果，并在完全监督学习方式下表现出与一次性学习相当的性能。然而，CL策略通常需要大量标注样本，这使得其实际部署具有挑战性。本研究聚焦于半监督持续学习（SSCL），其中模型从部分标注且类别未知的数据中逐步学习。我们对SSCL进行了全面分析，并证明不可靠的无标注数据分布会导致训练和逐步阶段的优化过程不稳定。这一问题严重影响了SSCL的性能。为解决这些局限性，我们提出了一种名为动态子图蒸馏（DSGD）的新方法用于半监督持续学习，该方法利用语义和结构信息实现更稳定的知识蒸馏，并在无标注数据上表现出对分布偏差的鲁棒性。首先，我们形式化了一种通用的结构蒸馏模型，并为持续学习过程设计了动态图构建方法。接下来，我们定义了结构蒸馏向量，并设计了动态子图蒸馏算法，该算法支持端到端训练并能够适应任务规模的扩展。所提出的完整方法适用于各种CL方法和监督设置。最后，我们在CIFAR10、CIFAR100和ImageNet-100三个数据集上，采用不同的监督比例进行的实验表明，所提出的方法在半监督持续学习场景中有效缓解了灾难性遗忘问题。我们的代码可获取于：https://github.com/fanyan0411/DSGD。

Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning

摘要

期刊

机构

引用论文