返回
Reducing catastrophic forgetting via gradient-based task organization in class-incremental learning
DOI:10.1016/j.neucom.2026.134964.png)
摘要
En 中文
任务序列化代表了类增量学习(CIL)中固有但研究不足的一个方面。当前方法主要通过架构正则化或记忆回放来应对灾难性遗忘(CF),而任务组织对误差累积的影响研究不足。本研究系统地探讨了CIL中的任务划分和任务排序的影响。对预测过程的概率分解表明,增强任务内可区分性有助于提升整体预测性能,从而激励了一种基于梯度的任务划分策略。此外,在线性教师-学生设置下,从任务相关性角度分析了累积误差,揭示出顺序依赖性遗忘与学习序列中的绝对任务位置及相对任务距离均相关。基于这些观察,将任务排序表述为一个同时捕捉全局结构一致性和局部方向一致性的组合优化问题。在图像和声学基准上的实验评估表明,多种CIL方法在准确率提升和遗忘减少方面均取得一致改进。结果表明,在不改变模型架构的情况下优化任务组织本身,构成了一种缓解CF的模型无关方法。代码可在 https://github.com/Junlong5/CIL_TaskOrder 获取。

