Multi-objective adaptive Nesterov-like acceleration algorithm for multi-task deep learning

Fanyun Meng

doi:10.1016/j.neucom.2025.131251

Multi-objective adaptive Nesterov-like acceleration algorithm for multi-task deep learning

2025-09-04

0

PRE

AI

DOI：10.1016/j.neucom.2025.131251

原文链接

原文求助

摘要

En 中文

随着多任务学习在许多深度学习问题中的广泛应用，如何平衡不同任务已成为多任务学习训练中最主要的挑战。本文提出了一种快速多目标自适应动量算法，以应对多任务学习的多目标特性以及自适应算法的缓慢下降问题。首先，该算法采用多目标自适应技术，在自适应算法中将每个参数的累积梯度分离，从而分离每个目标任务的学习率。其次，为每个任务层梯度添加了类似Nesterov的动量加速，并避免了在计算外推点梯度时Nesterov加速算法带来的额外开销。针对任务主导问题，我们使用任务的相对损失和归一化梯度范式来描述任务权重，并进行归一化，这能够有效平衡各任务。最后，从理论上表征了多任务聚合损失函数的下降边界。实验结果表明，与常规自适应算法相比，所提出的算法在训练场景解析多任务学习问题时具有更高的性能和更快的收敛速度。

Multi-objective adaptive Nesterov-like acceleration algorithm for multi-task deep learning

摘要

期刊

机构

引用论文