Exploring the Stochastic Regularisation in Normalisation Layers for Semi-Supervised Learning

Changrui Chen

doi:10.1109/tpami.2026.3704538

Exploring the Stochastic Regularisation in Normalisation Layers for Semi-Supervised Learning

2026-06-16

0

PRE

AI

DOI：10.1109/tpami.2026.3704538

原文链接

原文求助

摘要

En 中文

半监督学习对深度学习模型至关重要，因为它能有效减少对大量标注数据的依赖。然而，该领域的研究通常优先考虑训练策略，却忽视了现有模型架构是否天然适合半监督任务。我们注意到这一疏忽，并从归一化层开始进行分析。具体而言，我们发现批归一化（BN）层引入的随机正则化并不总能带来更好的性能。事实上，当标注数据和未标注数据的标签分布不匹配时，这种无限制的随机正则化甚至可能降低模型性能。相反，消除随机效应的归一化层（如组归一化（GN）和层归一化（LN））也可能表现次优。我们证明，随机正则化的程度会影响优化梯度的稳定性，强调了在半监督学习中需要*适中*的随机正则化水平以实现稳健收敛和泛化。否则，半监督学习中的伪标签等技术容易产生错误伪标签，加剧确认偏误问题。为解决此问题，我们提出名为Shuffle Layer Normalisation和Shuffle Group Normalisation（SLN/SGN）的新型归一化技术，通过在不增加模型参数的情况下引入可控随机性到LN/GN中，从而提升半监督学习的鲁棒性和有效性。通过在图像、文本和音频等多模态数据集上的实验，我们证明SLN/SGN显著提升了当前最先进半监督学习算法的性能。值得注意的是，SLN/SGN可复用预训练参数，并兼容大多数现有骨干模型，包括卷积神经网络（CNNs）和Transformer。

Keyword:

Semi-supervised learning

normalisation

deep learning model architecture

Exploring the Stochastic Regularisation in Normalisation Layers for Semi-Supervised Learning

摘要

期刊

机构

引用论文