返回
摘要
En 中文
持续学习已成为机器学习中的一个关键领域,使模型能够增量式地同化新信息,同时保留先前获取的数据表示。尽管现有研究大多强调监督学习框架,但这些方法在标注数据稀缺或不可用的真实场景中泛化能力有限。本研究中,我们提出了动态聚类记忆系统(DCMS),一种创新架构,通过动态生成适应数据分布变化的记忆聚类来促进监督与无监督持续学习。为提升DCMS的可扩展性,我们引入了一种记忆扩展协议,量化流入数据流与存储样本之间的表示差异,利用该指标触发自适应记忆扩充。此外,我们提出了一种样本选择策略,审慎地将新实例分配至相关记忆聚类,从而促进聚类间知识异质性,同时捕捉语义显著特征。为应对记忆饱和挑战,我们实现了一种剪枝算法,通过基于图的关系分析系统性地消除冗余聚类,确保在有限记忆预算内保留多样化数据。DCMS框架本质上是模型无关的,并能无缝集成到监督与无监督学习流程中。全面的实验评估表明,所提出的记忆优化范式在多种持续学习基准上取得了最先进的结果。
Keyword:
Continual learning
Generative modelling
Memory system
期刊
IF:
7.5
论文数:
2.9W
被引数:
10.2W
机构
引用论文
暂无论文信息

