Information Retrieval-Based Zero-Shot Surface Defect Semantic Segmentation

doi:10.1109/jsen.2026.3691093

Information Retrieval-Based Zero-Shot Surface Defect Semantic Segmentation

2026-06-08

0

PRE

AI

DOI：10.1109/jsen.2026.3691093

原文链接

原文求助

摘要

En 中文

表面缺陷分割是工业生产中的关键任务。为解决基于深度学习的分割方法过度依赖大规模标注训练数据的局限性，提出了零样本分割方法。然而，现有方法仍面临两大挑战：首先，当前零样本方法通常依赖单一模态，如无缺陷图像或文本提示，未能充分利用多模态信息；其次，尽管基于无缺陷图像的方法通常效果更好，但获取此类图像往往困难，在实际工业环境中可能不可行。为克服这些挑战，我们提出了一种基于信息检索的零样本分割网络（IRNet）。具体而言，我们采用对比语言-图像预训练（CLIP）框架整合文本和图像指导，并结合微调和提示调优以在工业场景中对齐文本和图像表示。考虑到获取高质量无缺陷图像的难度，我们的方法采用人机混合智能策略，机器进行自动搜索和评分，人类专家提供监督并做出最终决策。该设计增强了模型对未见缺陷的分割能力。大量实验表明，IRNet在已知和未见场景下均实现有效缺陷分割，并进一步凸显其强大的泛化能力和实际工业检测任务中的适用性。我们将公开提供源代码：https://github.com/c-haos-onfusion/IRNet

Keyword:

Human–machine hybrid intelligence

multimodal

prompt tuning

surface defect segmentation

zero-shot segmentation

Information Retrieval-Based Zero-Shot Surface Defect Semantic Segmentation

摘要

期刊

机构