CKAA: Cross-Subspace Knowledge Alignment and Aggregation for Robust Continual Learning

Lingfeng He

doi:10.1109/tip.2026.3726359

CKAA: Cross-Subspace Knowledge Alignment and Aggregation for Robust Continual Learning

2026-09-03

0

PRE

AI

DOI：10.1109/tip.2026.3726359

原文链接

原文求助

摘要

En 中文

持续学习（CL）使AI模型能够从连续的任务流中持续学习。近期，基于参数高效微调（PEFT）的CL方法因其优越性能而备受关注。它们通常为每个任务分配一个独特的子模块，并使用任务识别器为测试图像选择适当的子模块。然而，由于独立训练的子模块间存在特征子空间错位，这些方法在误导性任务ID下倾向于产生模糊决策。为解决此问题，我们提出跨子空间知识对齐与聚合（CKAA）框架，通过两项关键创新增强模型对误导性任务ID的鲁棒性：1）双级知识对齐（DKA）：通过跨不同子空间对齐类内特征分布，并通过特征模拟过程学习鲁棒的全局分类器，DKA使模型在训练期间能够区分来自正确和错误子空间的特征。2）任务置信度引导的适配器混合（TC-MoA）：一种鲁棒的推理方案，根据任务置信度分数自适应聚合相关子模块的任务特定知识，避免对误导性任务ID预测过度自信。大量实验表明，CKAA优于现有的PEFT-based CL方法。代码可在https://github.com/HHHLF/CKAA_for_CIL获取。

Keyword:

Continual learning

parameter-efficient

cross-subspace

knowledge alignment

CKAA: Cross-Subspace Knowledge Alignment and Aggregation for Robust Continual Learning

摘要

期刊

机构

引用论文