.png){kind=icon}
返回
Training Acceleration Method Based on Parameter Freezing
.png){kind=icon}
OA
AI
DOI：10.3390/electronics13112140.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
随着深度学习的发展，更大、更深层的神经网络目前已成为自然语言处理任务和计算机视觉任务中的流行趋势。随着深度神经网络中参数规模和模型复杂度的增加，为了避免过拟合并取得更好的结果，有必要提供更多的训练数据。这些事实表明，训练深度神经网络的耗时越来越多。本文提出了一种基于训练过程中逐步冻结参数的训练加速方法。具体而言，通过观察深度神经网络训练过程中的收敛趋势，我们冻结部分参数，使其不再参与后续训练，从而降低训练时间成本。此外，根据参数梯度所反映的信息，提出了用于控制冻结速度的自适应冻结算法。具体来说，较大的梯度表明损失函数在该位置变化更为剧烈，意味着相关参数有更大的改进空间；较小的梯度则表明损失函数变化较小，该部分的训练接近饱和，进一步训练的收益较小。我们以ViTDet作为基准，在三个遥感目标检测数据集上进行实验，验证了该方法的有效性。该方法在保持最大精度损失仅2.5%的同时，提供了最低1.38×的加速比。
期刊
暂无期刊信息
机构
暂无机构信息
引用论文
暂无论文信息