Transfer learning with pre-trained conditional generative models

doi:10.1007/s10994-025-06748-7

Transfer learning with pre-trained conditional generative models

2025-02-19

0

OA

AI

DOI：10.1007/s10994-025-06748-7

原文链接

原文求助

摘要

En 中文

迁移学习对于在新目标任务上训练深度神经网络至关重要。当前的迁移学习方法通常假设至少满足以下条件之一：(i) 源任务和目标任务的标签空间存在重叠，(ii) 源数据集可用，以及 (iii) 目标网络架构与源架构一致。然而，在实际场景中，这些假设难以成立，因为目标任务很少与源任务具有相同的标签，源数据集的访问因存储成本和隐私问题而受限，且目标架构通常针对特定任务进行定制。为了在不依赖这些假设的情况下实现源知识迁移，我们提出了一种基于深度生成模型的迁移学习方法，该方法包含以下两个阶段：伪预训练（PP）和伪半监督学习（P-SSL）。PP 阶段通过使用条件源生成模型合成的人工数据集来训练目标架构。P-SSL 阶段将半监督学习（SSL）算法应用于带标签的目标数据和由源分类器与生成模型级联生成的未标记伪样本，并通过级联过程将目标样本作为条件输入。我们的实验结果表明，该方法在性能上优于从零训练和知识蒸馏的基线方法。

Keyword:

Generative models

Transfer learning

Semi-supervised learning

Transfer learning with pre-trained conditional generative models

摘要

期刊

机构