Responsible AI: Training Deep Learning Model Efficiently

doi:10.1007/978-3-032-05281-0_5

2026-01-01

PRE

Shwetha Salimath *

Francesca Bugiotti

Sylvain Wlodarczyk

DOI：10.1007/978-3-032-05281-0_5

原文链接

原文求助

摘要

En 中文

深度学习方法在工业和科研领域的应用呈现显著增长。这一趋势要求采用高效的训练策略以提高收敛速度、鲁棒性和整体模型优化。本文提出一项基准分析，重点突出学习率（LR）调度器的优势。该基准测试使用了四种训练方法，整合了学习率查找器、学习率调度器以及类似Adam的学习率优化器。前三种训练方法使用学习率查找器计算正确范围，然后分别采用AdaptiveCycle学习率调度器、OneCycle学习率调度器和静态学习率进行训练；最后一种训练方法仅使用静态学习率。OneCycle学习率调度器因其通过周期性调整学习率平衡探索与利用而被采用。此外，我们引入了一种新型调度方法AdaptiveCycle，该方法基于验证损失平台在周期性学习率曲线上调整学习率，进一步优化训练过程。我们使用来自UCR和UCE仓库的多样化时间序列数据集进行了基准测试。该测试覆盖了11种深度学习模型，包括简单的LSTM、FCN以及复杂的Inception-time、XCM和LSTM-FCN模型。准确率、F1分数和计算时间使我们能够突出训练方法在不同数据集和模型上的适应性。研究发现强调了使用学习率调度器进行高效训练的优势。AdaptiveCycle调度器在各类模型和数据集上均达到最优性能。该基准结果将促进学习率调度器在研究和工业中的采用。

Keyword:

Deep Learning

Responsible AI

Training framework

Benchmark

LR schedulers