arrow
返回

LLM Knowledge-Driven Target Prototype Learning for Few-Shot Segmentation

delete2025-03-01
delete0
PRE
AI
F
Fang Liu *
L
Licheng Jiao
李
李硕 (Shuo Li)
X
Xu Liu
陈
陈璞花 (Puhua Chen)
L
Lingling Li
Z
Zehua Hao
DOI:10.1016/j.knosys.2025.113149delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
少样本分割(FSS)旨在利用少量支持图像对查询图像中的新类别对象进行分割。基于原型的FSS方法首先构建目标原型,然后将其与查询特征进行匹配以实现分割。近期研究主要关注挖掘视觉特征来构建原型。然而,仅使用视觉特征构建目标原型不足以表示目标对象,因为支持图像和查询图像中的目标外观存在差异。为解决此局限性,基于大型语言模型(LLM)中蕴含的泛化知识,我们提出了一种LLM知识驱动的目标原型学习方法(KD-TPL),用于学习查询图像中目标对象的鲁棒原型。具体而言,构建了一个知识驱动的语义先验生成器,用于挖掘应用LLM知识的查询图像中的语义先验。基于构建的语义先验,设计了一个知识驱动的混合原型学习器,用于学习代表性的目标原型。开发了一个知识驱动的查询特征增强器,用于增强查询特征的语义。最后,在COCO-20i和PASCAL-5i上的对比比较和消融实验结果证明了我们方法的有效性。
Keyword:
Large language model
Knowledge-driven
Prototype learning
Semantic prior
Few-shot segmentation

期刊

K
Knowledge-Based Systems
IF:
7.6
论文数:
1.3W
被引数:
4.5W

机构

J
joint intelligent perception and computation lab
学者数:
8
论文数: 1
被引数: 0
引用论文

引用论文

AI meets physics: a comprehensive survey人工智能与物理学相遇: 一项全面的调查
err2024-08-16
err0
errOAAI
errJiao, Licheng; Song, Xue; You, Chao; Liu, Xu; Li, Lingling; Chen, Puhua; Tang, Xu; Feng, Zhixi; Liu, Fang; Guo, Yuwei; Yang, Shuyuan; Li, Yangyang; Zhang, Xiangrong; Ma, Wenping; Wang, Shuang; Bai, Jing; Hou, Biao
err分享
err收藏
Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers从序列到序列的角度重新思考语义分割
err2021-06-01
err0
errOAAI
errSixiao Zheng; Jiachen Lu; Hengshuang Zhao; Xiatian Zhu; Zekun Luo; Yabiao Wang; Yanwei Fu; Jianfeng Feng; Tao Xiang; Philip H.S. Torr; Li Zhang
err分享
err收藏
err分享
err收藏
Fusion and Innovation
err
IF0
err2024-01-01
err0
PREAI
errYong Wang; Chongsheng Yang
err分享
err收藏
学者 查看更多内容