arrow
返回

Aligning enhanced feature representation for generalized zero-shot learning

delete2025-01-13
delete0
PRE
AI
Z
Zhiyu Fang
祝
祝晓斌 (Xiaobin Zhu) *
C
Chun Yang
H
Hongyang Zhou
J
Jingyan Qin
殷
殷绪成 (Xu-Cheng Yin)
DOI:10.1007/s11432-023-4174-4delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
通过将跨模态变分自编码器(VAEs)的潜在空间对齐,构建有效的共享潜在嵌入,是广义零样本学习(GZSL)的一种流行策略。然而,由于缺乏精细化的实例级标注,现有的VAE方法容易受到后验塌陷问题的影响。本文提出了一种通过增强特征表示对齐(AEFR)的创新的非对称VAE网络,用于GZSL。与一般的VAE结构不同,我们设计了两个非对称编码器用于视觉和语义观测,以及一个用于视觉重建的解码器。具体而言,我们在视觉编码器中提出了一种简单而有效的门控注意力机制(GAM),用于增强观测与潜在变量之间的信息交互,有效缓解可能出现的后验塌陷问题。此外,我们提出了一种基于分布解耦的对比学习(D2-CL),用于在潜在表示空间中对齐分类学层级表示的同时,指导学习分类相关信息。在公开可用数据集上的广泛实验证明了我们方法的最优性能。源代码可从https://github.com/seeyourmind/AEFR获取。
Keyword:
generalized zero-shot learning
gated attention mechanism
contrastive learning
multi-modal alignment

期刊

Science China Information Sciences 封面图
Science China Information Sciences
IF:
7.6
论文数:
4.9K
被引数:
8.9K

机构

U
University of Science and Technology Beijing
学者数:
4.4K
论文数: 1.8K
被引数: 4.8W
引用论文

引用论文

Inverse-Like Antagonistic Scene Text Spotting via Reading-Order Estimation and Dynamic Sampling
err2024-01-01
err2
errOAAI
errZhang, Shi-Xue; Yang, Chun; Zhu, Xiaobin; Zhou, Hongyang; Wang, Hongfa; Yin, Xu-Cheng
err分享
err收藏
GNDAN: Graph Navigated Dual Attention Network for Zero-Shot Learning
err2024-04-01
err23
PREAI
errChen, Shiming; Hong, Ziming; Xie, Guosen; Peng, Qinmu; You, Xinge; Ding, Weiping; Shao, Ling
err分享
err收藏
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
err2023-01-01
err26
errOAAI
errWang, Shiye; Li, Changsheng; Li, Yanming; Yuan, Ye; Wang, Guoren
err分享
err收藏
err分享
err收藏
Towards Very Deep Representation Learning for Subspace Clustering
err2024-07-01
err1
PREAI
errLi, Yanming; Wang, Shiye; Li, Changsheng; Yuan, Ye; Wang, Guoren
err分享
err收藏
学者 查看更多内容