.png){kind=icon}
返回
Mitigating task interference in multi-task learning via gradient-guided sparse modeling
.png){kind=icon}
PRE
AI
DOI：10.1007/s13042-026-03366-0.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
任务干扰仍然是多任务学习（MTL）中的一个根本性挑战，限制了多个相关任务联合优化的有效性。现有缓解任务干扰的方法主要分为两类。稀疏多任务学习（SMTL）方法通过独立估计参数重要性来学习任务特定的稀疏掩码，以划分共享骨干网络。然而，此类方法忽略了跨任务参数依赖关系和动态梯度冲突，导致掩码分配次优。基于优化的MTL方法通过寻求冲突任务梯度之间的折衷来缓解任务干扰。然而，这种折衷往往导致单个任务次优解，限制了整体多任务性能。为克服两类方法的局限性，我们提出了GD-SMTL，一种基于梯度依赖引导的SMTL框架，该框架联合利用参数效用和跨任务梯度交互进行稀疏参数分配。具体而言，GD-SMTL使用鲁棒归一化的Fisher信息估计任务特定的参数效用，并从指数移动平均梯度轨迹中捕获持续的跨任务梯度交互。随后，一种非对称的依赖感知分配策略根据相对任务依赖关系分配争议参数，实现更有效的参数分配并缓解任务干扰。在包括多任务图像分类、多标签人脸属性预测和密集预测在内的多样化基准上的广泛实验表明，GD-SMTL在有效抑制任务干扰的同时促进了正向知识迁移。
Keyword:
Sparse multi-task learning
Task interference
Parameter dependence
Gradient conflict
期刊
IF:
2.7
论文数:
3.2K
被引数:
6.6K
机构
引用论文
.png){kind=icon}
Robust Least Squares Twin Support Vector Machine With Adaptive Pinball Loss稳健的最小二乘双支持向量机与自适应Pinball损失
PREAI
分享收藏From Channel Bias to Feature Redundancy: Uncovering the “Less is More” Principle in Few-Shot Learning从通道偏差到特征冗余：揭示少样本学习中的“少即是多”原则
OAAI
OAAI分享收藏分享收藏 没有更多内容
没有更多内容