.png){kind=icon}
返回
Dynamic Knowledge Transfer for Mitigating Spurious Correlations in Deep Learning
.png){kind=icon}
PRE
AI
DOI：10.1007/s11263-025-02656-4.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
伪相关性的存在是深度学习模型中普遍存在的问题，常常导致泛化能力受损和鲁棒性降低。为解决此问题，我们引入了一种知识转移机制，该机制在深度特征空间中跨伪相关类别进行操作。具体而言，我们通过整合源自各自类别分布以及错误关联类别分布的语义信息，来增强单个样本的深度表示。这种丰富化促进了多样类特定的事实和反事实增强特征的生成，从而促进更鲁棒且具有判别性的表示。然后，我们证明了通过考虑无限数量的增强来优化替代鲁棒损失而非进行显式增强的可行性。由于样本与类别之间的伪关联在训练过程中会演变，我们开发了一种基于REINFORCE的训练框架，称为动态知识转移（DKT），以促进知识转移方向和大小的动态调整。在该框架内，使用导出的鲁棒损失训练目标网络以增强鲁棒性，而策略网络以动态和自动的方式生成样本级增强策略。除了适用于监督学习外，DKT还可以通过在无限增强设置下使用新颖的logit校准预测函数生成伪标签，从而扩展到半监督学习，以鲁棒的方式利用未标记数据。在多样化基准上的广泛实验证明了DKT在缓解伪相关性方面的有效性，并在监督和半监督场景中始终达到最先进的性能。
Keyword:
Spurious correlation
Data augmentation
Robust loss function
REINFORCE algorithm
Knowledge transfer
期刊
IF:
9.3
论文数:
3.9K
被引数:
2.8W
机构
引用论文
.png){kind=icon}
查看更多内容