Layerwise-priority-based gradient adjustment for few-shot learning

Jangho Kim

doi:10.1016/j.eswa.2025.127053

2025-05-01

PRE

DOI：10.1016/j.eswa.2025.127053

原文链接

原文求助

摘要

En 中文

为解决深度神经网络（DNN）需要大量数据的问题，小样本学习（few-shot learning）已被从多方面进行研究。模型无关元学习（Model-Agnostic Meta-Learning, MAML）作为基于梯度的元学习中的成功方法之一，其由内循环通过学习任务特定知识来适应新任务，以及外循环寻找适合快速学习的元初始化构成。近期工作BOIL（Body Only update in Inner Loop）尝试通过冻结分类器（最后一层）来控制内循环，以实现表示变化，而ANIL（Almost No Inner Loop）仅更新分类器以实现特征复用。我们借鉴了先前工作中关于适应新任务的经验，即不同层权重变化程度差异显著。我们将优先级定义为各层的变化程度，并提出一种基于优先级的适应方法，命名为内循环梯度调整（Gradient Adjustment in Inner Loop, GAIL），通过将每层的优先级乘以其对应层的梯度向量来实现对新任务的适应。我们发现，GAIL在内循环中针对不同任务的调整后梯度方向相似，且与原始梯度相比，GAIL对不同任务的调整后梯度的平均方向在多任务凸二次损失函数下，与全局解的方向在统计上更对齐。实验结果表明，GAIL比之前的内循环变体方法具有更快、更好的收敛性。代码见 https://drive.google.com/file/d/1zkn2M_VEXRzzdBediIrJz4PhXN8uYEJ1/view?usp=sharing。

Keyword:

Meta-learning

Representation change

Gradient adjustment

Convolutional neural networks