.png){kind=icon}
返回
Knowledge Integration for Grounded Situation Recognition
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2025.111766.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于场景的事件识别（GSR）涉及通过识别关键动词（如sketching）、检测相关语义角色（如AGENT是man）以及用边界框定位名词实体来解释图像中的复杂事件。由于动词与名词实体之间存在固有的语义关联，现有方法主要侧重于利用这些关联来优化动词预测，或反之。然而，这些方法往往忽视了训练数据集中固有的长尾分布，导致在识别低频名词实体和动词时出现偏差预测和准确率低下的问题。为解决此问题，我们提出了一种新颖的知识整合（KOI）策略，通过独特地融合两种知识类型（通用知识和GSR特定的下游知识）来减轻偏差。具体而言，该整合利用视觉语言模型（VLMs，如CLIP）提取广泛且具有上下文背景的通用知识，这可能有利于长尾类别识别；同时借助预训练的GSR模型获取详细且领域聚焦的下游知识，通常有利于头部类别识别。为弥合通用与特定知识之间的差距，我们设计了一种权衡加权策略，以有效融合这些异质见解，确保预测结果稳健且不极端偏向头部或长尾类别。KOI的模型无关特性使其易于整合到各种GSR框架中，证明了其普适性。在SWiG数据集上的广泛实验结果表明，KOI显著优于现有方法，在多项指标上建立了新的最佳性能。
Keyword:
Grounded Situation Recognition
Vision-Language Models
Knowledge Integration
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations视觉基因组: 使用众包密集图像注释连接语言和视觉
OAAI
OAAI分享收藏Discriminative action tubelet detector for weakly-supervised action detection.png)
PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏Local context attention learning for fine-grained scene graph generation用于细粒度场景图生成的局部上下文注意学习PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏Learning multimodal relationship interaction for visual relationship detectionPATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏LCReg: Long-tailed image classification with Latent Categories based RecognitionLCReg: 基于潜在类别识别的长尾图像分类PATTERN RECOGNITIONOAAI
PATTERN RECOGNITIONIF7.6
OAAI分享收藏
CAST: C ross-Modal Retrieval and Visual Conditioning for image captioningPATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
查看更多内容