arrow
返回

Looking through the codebook: Generative anomaly segmentation with multi-contrastive learning

delete2025-12-05
delete0
PRE
AI
H
Hyeong Rae Cho
Y
Yong Jun Lee
S
Sunho Jang
D
Dong-Sung Pae
W
Woo Jin Ahn *
M
Myo Taeg Lim *
DOI:10.1016/j.neucom.2025.132336delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
现有的大多数语义分割模型基于判别式方法。这类模型往往无法检测分布外(OoD)对象,因为它们主要学习类别特定的决策边界,而没有显式建模底层数据分布,这导致对未见对象的过度自信误分类。相比之下,生成式模型旨在捕捉底层数据分布,从而实现更有效的异常检测。近期方法仍依赖判别式分割网络,并将生成模块仅用作辅助组件,这阻碍了它们利用生成式建模进行像素级似然估计和有效的OoD分离。在生成式模型中,基于码本的方法(如向量量化变分自编码器VQ-VAEs)将隐空间离散化为有限码向量集合,实现完全生成式建模,其中每个像素根据其学习隐分布下的似然进行建模。受此特性启发,我们提出一种纯粹的生成式异常分割方法,集成VQ-VAE、加权高得分策略和多重对比学习。通过将VQ-VAE的分割类别特定码向量视为分布内(ID)表示,我们引入码向量级top-准则。该准则基于每个像素的top-最近邻码向量及其关联得分进行评分,从而反映同一类别内的相对相似性。此外,我们采用基于码向量的多重对比学习策略,并结合特殊采样的空标签实现。此实现有效结构化了类别间的隐空间,并确保异常与ID码向量不重合。大量实验表明,所提方法能有效检测异常,并在单域和跨域场景中表现稳健。

期刊

Neurocomputing 封面图
Neurocomputing
IF:
6.5
论文数:
2.5W
被引数:
6.5W

机构

K
Korea University
学者数:
3.6W
论文数: 3.8W
被引数: 4.4W
S
Sangmyung University
学者数:
1.1K
论文数: 1.3K
被引数: 904
I
Inha University
学者数:
1.1W
论文数: 1.1W
被引数: 1.1W
学者 查看更多机构
引用论文

引用论文

ImageNet Large Scale Visual Recognition ChallengeImageNet大规模视觉识别挑战
err2015-04-11
err2.7W
PREAI
errRussakovsky, Olga; Deng, Jia; Su, Hao; Krause, Jonathan; Satheesh, Sanjeev; Ma, Sean; Huang, Zhiheng; Karpathy, Andrej; Khosla, Aditya; Bernstein, Michael; Berg, Alexander C.; Fei-Fei, Li
err分享
err收藏
The Fishyscapes Benchmark: Measuring Blind Spots in Semantic Segmentation
err2021-09-14
err45
errOAAI
errBlum, Hermann; Sarlin, Paul-Edouard; Nieto, Juan; Siegwart, Roland; Cadena, Cesar
err分享
err收藏
The PASCAL Visual Object Classes Challenge: A RetrospectivePASCAL视觉对象课程挑战: 回顾性
err2014-06-25
err5.0K
PREAI
errEveringham, Mark; Eslami, S. M. Ali; Van Gool, Luc; Williams, Christopher K. I.; Winn, John; Zisserman, Andrew
err分享
err收藏
Generative Adversarial Networks生成对抗网络
err2020-10-22
err1.0W
errOAAI
errGoodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua
err分享
err收藏
Deep learning-enhanced environment perception for autonomous driving: MDNet with CSP-DarkNet53
err2025-04-01
err0
PREAI
errGuo, Xuyao; Jiang, Feng; Chen, Quanzhen; Wang, Yuxuan; Sha, Kaiyue; Chen, Jing
err分享
err收藏
没有更多内容