Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective

Jingren Liu

doi:10.1109/TPAMI.2026.3670952

Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective

2026-03-06

0

PRE

AI

DOI：10.1109/TPAMI.2026.3670952

原文链接

原文求助

摘要

En 中文

参数高效微调用于持续学习（PEFT-CL）已展现出在适应预训练模型以执行序列任务的同时缓解灾难性遗忘问题的潜力。然而，理解该范式下决定持续性能的机制仍不明确。为揭开这一谜团，我们采用神经切线核（NTK）理论对PEFT-CL动态进行严格分析，以推导适用于持续学习场景的相关指标。借助NTK作为数学分析工具，我们将测试时遗忘问题重新表述为训练过程中可量化的泛化差距，并识别出影响这些差距及PEFT-CL性能的三个关键因素：训练样本量、任务级特征正交性及正则化。为应对这些挑战，我们提出NTK-CL框架，该框架无需存储任务特定参数，同时能自适应生成任务相关特征。与理论指导一致，NTK-CL将每个样本的特征表示扩展三倍，从理论和实证上均降低了任务交互与任务特定泛化差距的幅度。基于NTK分析，本框架引入自适应指数移动平均机制并约束任务级特征正交性，在保持任务内NTK形式的同时抑制任务间NTK形式。最终，通过针对可优化参数进行适当正则化的微调，NTK-CL在现有PEFT-CL基准上取得了最先进的性能。本研究为理解和改进PEFT-CL模型提供了理论基础，揭示了特征表示、任务正交性及泛化之间的相互作用，为开发更高效的持续学习系统做出了贡献。

Keyword:

Parameter-efficient fine-tuning

continual learning

neural tangent Kernel

model generalization

Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective

摘要

期刊

机构

引用论文