Gradient Projection for Continual Parameter-Efficient Tuning

doi:10.1109/TPAMI.2025.3587032

Gradient Projection for Continual Parameter-Efficient Tuning

0

OA

AI

DOI：10.1109/TPAMI.2025.3587032

原文链接

原文求助

摘要

En 中文

参数高效微调方法（PETs）在训练大型模型方面已展现出卓越的性能和广阔前景，但它们仍面临一个普遍问题：学习新内容与保护旧知识之间的权衡，导致零样本泛化能力崩溃以及跨模态幻觉。本文从梯度投影的角度重新表述了Adapter、LoRA、Prefix-tuning和Prompt-tuning，首次提出了一种统一的框架，称为**Parameter Efficient Gradient Projection (PEGP)**。我们将正交梯度投影引入不同的PET范式，并从理论上证明，梯度的正交条件能够有效抵抗遗忘，即使对于大规模模型也是如此。该方法因此将梯度调整至对旧特征空间影响较小的方向，同时减少额外的内存空间和训练时间。我们在不同的骨干网络上（包括ViT和CLIP）对多种数据集进行了全面评估，实验结果表明，该方法在类级、在线类、领域、任务级以及多模态持续学习设置下均能有效减少遗忘。

Keyword:

Continual learning

parameter-efficient tuning

anti-catastrophic forgetting

orthogonal gradient projection

multi-modality learning

Gradient Projection for Continual Parameter-Efficient Tuning

摘要

期刊

机构

引用论文