Exploiting deep cross-semantic features for image retrieval

Zhou Lu

doi:10.1016/j.eswa.2024.126157

2025-04-01

PRE

Zhou Lu

Hu, Jin-Kun

Li, Zuoyong

DOI：10.1016/j.eswa.2024.126157

原文链接

原文求助

摘要

En 中文

将多种类型的特征整合为高度判别性和鲁棒性的表示用于图像检索仍然是一个挑战。大多数图像检索方法基于从深度神经网络中提取的深度或语义特征，并逐渐忽略了手工设计的特征。重要的是，联合不同类型特征的准确率并不一定高于使用单一特征的准确率。因此，本研究提出了一种新颖的方法，将手工设计、深度和语义特征整合为紧凑的表示：深度跨语义特征（DCSF）。其主要特点如下。1. 本研究提出了一种全局粗目标滤波器，整合图像的全局特征（如颜色和纹理），有效平滑深度特征图中的粗目标，并减少其对表示的干扰。2. 本文探索了卷积神经网络中的判别信息，引入了一种局部精细目标检测器。它可以突出深度特征图中的精细目标，提升深度特征的判别能力。3. 本研究融合了卷积神经网络的全局特征和Swin Transformer网络的语义判别特征，以创建高度判别的表示。该方法成功根据全局、局部和语义信息生成表示，初步解决了不同类型特征组合可能导致的性能下降问题。所提出的方法在Oxford5K、Oxford105K、Paris6K、Paris106K和Holidays数据集上，根据平均精度均值（mAP）指标，能够产生极具竞争力的检索性能。

Keyword:

Image retrieval

Deep feature

Global coarse target filter

Local fine target detector

Semantic feature