返回
Target-Directed Progressive Gradient Adjusting for transfer learning
DOI:10.1016/j.patcog.2025.111731.png)
摘要
En 中文
深度学习已革新多种任务并取得卓越性能,其依赖于丰富的数据。迁移学习作为一种有前景的方法出现,旨在解决目标域中数据有限带来的挑战。现有技术通常通过正则化策略,将源域预训练模型的知识迁移至目标域。这些策略将微调过程约束在受限的优化空间内,通常仅依赖目标域样本的有限监督。尽管这些正则化技术有助于提升性能,但也可能保留显著的源域知识,从而阻碍针对目标域理想解的优化。本文提出了一种新颖的迁移学习技术——目标导向渐进梯度调整(TPGA)。与传统预训练-微调范式不同,TPGA在每次迭代中,依据少量目标域样本逐步调整源域样本的梯度方向。本文从梯度优化视角提供了TPGA收敛性的理论证明,并据此提出了一种新的迁移学习框架。在图像分类和分割任务上的大量实验表明,TPGA优于现有最先进方法,实现了更优的迁移学习性能,尤其在目标域数据有限的情况下表现突出。
Keyword:
Image classification
Image segmentation
Transfer learning
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
On automated source selection for transfer learning in convolutional neural networks
PATTERN RECOGNITION
IF7.6
Domain consistency regularization for unsupervised multi-source domain adaptive classification
PATTERN RECOGNITION
IF7.6

