Self identity mapping

Xiuding Cai

doi:10.1016/j.neunet.2025.108132

Self identity mapping

2025-10-04

0

PRE

AI

DOI：10.1016/j.neunet.2025.108132

原文链接

摘要

En 中文

正则化在深度学习中至关重要，可增强泛化能力并缓解过拟合。然而，传统技术通常依赖启发式方法，导致其在不同场景下可靠性或有效性较低。我们提出了一种简单而有效的数据固有正则化框架Self Identity Mapping（SIM），它利用逆向映射机制来增强表示学习。通过从变换后的输出重建输入，SIM减少了前向传播过程中的信息损失，并促进了更平滑的梯度流动。为解决计算效率问题，我们通过引入基于patch级特征采样和投影重建隐特征的方法，将SIM实例化为ρSIM，有效降低了复杂度。作为模型无关、任务无关的正则化器，SIM可作为即插即用模块无缝集成，适用于不同网络架构和任务。我们在三个任务上全面评估了ρSIM：图像分类、少样本提示学习和领域泛化。实验结果表明，与基线方法相比，ρSIM实现了持续的性能提升，凸显了其在各种任务中增强表示学习的能力。我们还证明，ρSIM与现有正则化方法正交，可进一步提升其效果。此外，我们的结果证实，ρSIM有效保留了语义信息，并提升了密集到密集任务（如语义分割和图像翻译）的性能，以及在音频分类和时间序列异常检测等非视觉领域的表现。

Self identity mapping

摘要

期刊

机构

引用论文