.png){kind=icon}
返回
Benchmarking Semantic Segmentation Models via Appearance and Geometry Attribute Editing
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2026.3674640.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
语义分割在自动驾驶、医学图像分析等众多应用中扮演着关键角色。在实际部署分割模型时，预先测试其在多样化和复杂场景中的行为至关重要。本文构建了一个自动数据生成流水线Gen4Seg，通过生成具有不同属性变化的各类具有挑战性的样本，对语义分割模型进行压力测试。不同于以往仅关注全局天气和风格迁移的评估范式，我们研究了对象和图像层面的外观和几何属性变化。这些变化包括对象的颜色、材质、尺寸和位置，以及图像层面的天气和风格变化。为实现此目标，我们提出利用扩散模型，对现有真实图像的视觉属性进行编辑，同时精确控制结构信息。通过这种方式，可以复用现有分割标签，从而大幅降低数据集构建的人工成本。利用我们的流水线，我们构建了两个新基准数据集Pascal-EA和COCO-EA。我们对广泛多样的语义分割模型进行了基准测试，涵盖了从传统闭集模型到最新的开放词汇大模型。我们获得了若干关键发现：1）先进的开放词汇模型在几何变化下并未展现出比闭集方法更强的鲁棒性；2）传统的数据增强技术，如CutOut和CutMix，在增强外观变化下的鲁棒性方面存在局限性；3）我们的生成流水线也可用作数据增强工具，并提升模型在分布内和分布外的性能。我们的工作表明，生成模型有望作为有效工具自动分析分割模型，并希望我们的发现能帮助实践者和研究人员开发出更鲁棒可靠的分割模型。
Keyword:
Semantic segmentation
benchmark and evaluation
diffusion model
查看更多机构