返回
LLM Knowledge-Driven Target Prototype Learning for Few-Shot Segmentation
DOI:10.1016/j.knosys.2025.113149.png)
摘要
En 中文
少样本分割(FSS)旨在利用少量支持图像对查询图像中的新类别对象进行分割。基于原型的FSS方法首先构建目标原型,然后将其与查询特征进行匹配以实现分割。近期研究主要关注挖掘视觉特征来构建原型。然而,仅使用视觉特征构建目标原型不足以表示目标对象,因为支持图像和查询图像中的目标外观存在差异。为解决此局限性,基于大型语言模型(LLM)中蕴含的泛化知识,我们提出了一种LLM知识驱动的目标原型学习方法(KD-TPL),用于学习查询图像中目标对象的鲁棒原型。具体而言,构建了一个知识驱动的语义先验生成器,用于挖掘应用LLM知识的查询图像中的语义先验。基于构建的语义先验,设计了一个知识驱动的混合原型学习器,用于学习代表性的目标原型。开发了一个知识驱动的查询特征增强器,用于增强查询特征的语义。最后,在COCO-20i和PASCAL-5i上的对比比较和消融实验结果证明了我们方法的有效性。
Keyword:
Large language model
Knowledge-driven
Prototype learning
Semantic prior
Few-shot segmentation
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
Unsupervised Few-Shot Image Classification by Learning Features into Clustering Space无监督少样本图像分类:学习特征到聚类空间
Deep multi-level fusion network for multi-source image pixel-wise classification用于多源图像按像素分类的深度多级融合网络
Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers从序列到序列的角度重新思考语义分割

