HTNet: A self-supervised heterogeneous triple network for multi-modal data

Tianjian Zhou

doi:10.1016/j.neunet.2026.109313

HTNet: A self-supervised heterogeneous triple network for multi-modal data

2026-07-01

0

PRE

AI

DOI：10.1016/j.neunet.2026.109313

原文链接

摘要

En 中文

当前自监督学习方法主要基于孪生网络架构，在处理小规模、图像-文本多模态数据方面能力有限。本文提出HTNet，一种专为这类多模态任务设计的自监督三元网络。与由两个相同子网络构成的常规孪生网络不同，HTNet引入了一个异构分支，形成三元网络架构，能将知识从同构和异构教师蒸馏到学生网络。我们进一步提出了自适应多样性损失函数，以平衡这些结构不同教师的影响，确保学生网络学习到统一且全面的特征表示。实验结果表明，HTNet在STL-10、CIFAR-10和CIFAR-100等小规模数据集上实现了强大的特征提取能力，在Tiny-ImageNet预训练后展现出优秀的迁移学习泛化性能，并在MS-COCO和Flickr30K等图像-文本检索基准上超越了当前最先进的自监督方法。

Keyword:

Self-supervised learning

Triple network

Heterogeneous network

Multi-modal data

Cross-modal retrieval

HTNet: A self-supervised heterogeneous triple network for multi-modal data

摘要

期刊

机构

引用论文