arrow
返回

Dual-balancing for multi-task learning

delete2025-11-11
delete0
PRE
AI
B
Baijiong Lin
W
Weisen Jiang
F
Feiyang Ye
张
张玉 (Yu Zhang)
P
Pengguang Chen
Y
Ying-Cong Chen
S
Shu Liu
I
Ivor W. Tsang
J
James T. Kwok
DOI:10.1016/j.neunet.2025.108317delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
多任务学习旨在同时学习多个相关任务,并在各个领域取得了巨大成功。然而,任务间损失和梯度尺度的差异往往导致性能妥协,任务平衡仍然是一个重大挑战。在本文中,我们提出了双平衡多任务学习(DB-MTL),从损失和梯度两个角度实现任务平衡。具体而言,DB-MTL通过对每个任务损失进行对数变换来实现损失尺度平衡,并通过将所有任务梯度归一化为最大梯度范数来达到可比的梯度幅度。在多个基准数据集上的广泛实验表明,DB-MTL始终优于当前的最佳水平。

期刊

Neural Networks 封面图
Neural Networks
IF:
6.3
论文数:
8.2K
被引数:
3.0W

机构

T
The Chinese University of Hong Kong
学者数:
3.8K
论文数: 1.9K
被引数: 3
C
centre for frontier ai research
学者数:
14
论文数: 13
被引数: 0
S
smartmore
学者数:
2
论文数: 1
被引数: 0
T
The Hong Kong University of Science and Technology
学者数:
1.6K
论文数: 826
被引数: 4
S
Southern University of Science and Technology
学者数:
5.2K
论文数: 2.1K
被引数: 34
学者 查看更多机构
引用论文

引用论文

暂无论文信息