.png){kind=icon}
返回
A survey on visual transfer learning using knowledge graphs
.png){kind=icon}
OA
AI
DOI：10.3233/SW-212959.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
通过对现实世界现象的视觉观察而感知的信息是非结构化且复杂的。计算机视觉 (CV) 是试图利用该信息的研究领域。最近的CV方法利用深度学习 (DL) 方法，因为如果训练和测试域遵循相同的基础数据分布，它们的性能非常好。然而，已经表明，当在现实世界中使用这些方法时，图像中发生的微小变化可能导致不可预测的和灾难性的错误。迁移学习是试图防止这些错误的机器学习领域。特别是，使用以语言嵌入或知识图 (KGs) 编码的辅助知识来增强图像数据的方法近年来取得了可喜的成果。这项调查的重点是使用KGs的视觉迁移学习方法，因为我们认为KGs非常适合存储和表示任何类型的辅助知识。KGs可以在底层图结构化模式中或在基于向量的知识图嵌入中表示辅助知识。为了使读者能够在特定的kg-dl配置的帮助下解决视觉迁移学习问题，我们从各种表达式的KG的相关建模结构的描述开始，例如有向标记图，超图和超关系图。我们解释了特征提取器的概念，同时特别提到了视觉和语义特征。我们提供了知识图谱嵌入方法的广泛概述，并描述了几个适合将它们与高维视觉嵌入相结合的联合训练目标。主要部分介绍了如何将KG与DL管道相结合的四个不同类别: 1) 作为审阅者的知识图; 2) 作为受训者的知识图; 3) 作为培训者的知识图; 4) 作为同行的知识图。为了帮助研究人员找到有意义的评估基准，我们提供了通用KGs的概述以及一组图像处理数据集和基准，其中包括各种类型的辅助知识。最后，我们总结了相关调查，并对未来研究的挑战和开放性问题进行了展望。
Keyword:
Knowledge graph
visual transfer learning
knowledge-based machine learning
期刊
IF:
2.9
论文数:
608
被引数:
1.6K
机构
引用论文
Desempenho de crianças do ensino fundamental na solução de problemas aritméticos<A NAME="top"></A>问题的基本解决方案 OAAI
OAAI分享收藏Exceptionally preserved soft parts in fossils from the Lower Ordovician of Morocco clarify stylophoran affinities within basal deuterostomes.png)
Geobios
OAAI
GeobiosIF0
OAAI分享收藏Crystalline‐State Reaction with Allosteric Effect in Spin‐Crossover, Interpenetrated Networks with Magnetic and Optical Bistability具有磁和光学双稳态的自旋交叉，互穿网络中具有变构效应的晶态反应
PREAI
分享收藏
查看更多内容