返回
Dual-balancing for multi-task learning
DOI:10.1016/j.neunet.2025.108317.png)
摘要
En 中文
多任务学习旨在同时学习多个相关任务,并在各个领域取得了巨大成功。然而,任务间损失和梯度尺度的差异往往导致性能妥协,任务平衡仍然是一个重大挑战。在本文中,我们提出了双平衡多任务学习(DB-MTL),从损失和梯度两个角度实现任务平衡。具体而言,DB-MTL通过对每个任务损失进行对数变换来实现损失尺度平衡,并通过将所有任务梯度归一化为最大梯度范数来达到可比的梯度幅度。在多个基准数据集上的广泛实验表明,DB-MTL始终优于当前的最佳水平。

