.png){kind=icon}
返回
Gradient Similarity Surgery in Multi-task Deep Learning
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-662-72243-5_6.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多任务学习（MTL）范式旨在通过单一模型同时学习多个任务，捕捉任务间共享的高级、更通用的隐藏模式。在深度学习中，反向传播训练过程中的一个重大挑战是设计先进优化器以提高梯度下降学习规则的收敛速度和稳定性。特别是在多任务深度学习（MTDL）中，大量任务可能产生潜在的冲突梯度，阻碍不同损失函数的并发收敛。这一挑战源于任务目标梯度的量级不同或方向相反，导致某些梯度主导或相互干扰，从而降低训练效果。梯度手术方法通过调整整体梯度轨迹显式处理冲突梯度问题。本研究提出了一种新颖的梯度手术方法——基于梯度量级相似度测量的相似性感知动量梯度手术（SAM-GS），为优化过程提供了有效且可扩展的指导。SAM-GS手术采用梯度均衡化和一阶动量调制。一系列实验测试表明，SAM-GS在合成问题和MTL基准测试中表现出有效性。梯度量级相似度在MTDL中对于学习过程的梯度聚合正则化及优化起着关键作用。代码可访问https://unibzmlgroup.github.io/SAMGS/。
Keyword:
Multi-Task Deep Learning
Gradient Descent Optimisation
Gradient Surgery
Gradient Aggregation
Conflicting Gradients
期刊
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容