Replay Master: Automatic Sample Selection and Effective Memory Utilization for Continual Semantic Segmentation

Lanyun Zhu

doi:10.1109/TPAMI.2025.3594040

Replay Master: Automatic Sample Selection and Effective Memory Utilization for Continual Semantic Segmentation

0

PRE

AI

DOI：10.1109/TPAMI.2025.3594040

原文链接

原文求助

摘要

En 中文

持续语义分割（CSS）通过增量引入新类别进行训练，扩展了静态语义分割。为缓解此任务中的灾难性遗忘问题，可采用重放方法，构建一个存储先前类别少量样本的记忆缓冲区以供未来重放。然而，CSS中现有的重放方法往往缺乏对两个关键问题的深入探索：如何找到最合适的记忆样本以及如何更有效地利用它们进行重放。常见策略要么随机选择样本，要么依赖难以最优化的手工设计、单因素驱动的单因素驱动方法，并且常采用不考虑有限内存容量导致的类别不平衡问题的常规训练技术进行重放。在本文中，我们通过引入一种新颖的记忆样本选择方法来解决这些挑战，该方法利用具有创新状态表示和双阶段动作方案强化学习框架，自动学习选择策略。此外，我们提出专家机制和双阶段训练方法来解决类别不平衡问题，从而通过更有效地利用记忆样本增强重放训练的效果。通过整合提出的自动样本选择和有效记忆利用方法，我们开发了一种新颖且有效的基于重放的CSS流水线。我们在Pascal VOC 2012和ADE20K数据集上的大量实验证明了我们方法的有效性，其达到了当前最优（SOTA）性能，并显著优于之前的先进方法。

Keyword:

Continual semantic segmentation

Replay Master: Automatic Sample Selection and Effective Memory Utilization for Continual Semantic Segmentation

摘要

期刊

机构

引用论文