Cross-sample Multi-modal Knowledge Distillation for Referring Image Segmentation

Qi Li

doi:10.1109/tmm.2026.3743767

Cross-sample Multi-modal Knowledge Distillation for Referring Image Segmentation

2026-10-14

0

PRE

AI

DOI：10.1109/tmm.2026.3743767

原文链接

原文求助

摘要

En 中文

知识蒸馏作为一种模型轻量化技术，已被广泛应用于图像分类和图像分割等领域。然而，其在指代图像分割中的应用尚未被探索。本文提出了一种跨样本多模态知识蒸馏框架，以实现教师模型到学生模型的高效知识迁移，从而实现高性能且轻量化的指代图像分割。首先，我们构建了一个简单而有效的视觉-语言深度交织的双流编码网络作为基础框架。在此基础上，进一步引入跨模态关系蒸馏损失，以将教师模型的视觉-语言相关性迁移到学生模型。最后，在批次层面，我们探索了跨样本多尺度关系蒸馏，指导学生模型模仿教师模型的特征空间分布。实验结果表明，所提出的蒸馏方法显著提升了学生模型的性能，甚至使部分学生模型超越了其教师模型。

Keyword:

Referring image segmentation

dual-stream encoding network

cross-modal relational distillation

cross-sample relational distillation

Cross-sample Multi-modal Knowledge Distillation for Referring Image Segmentation

摘要

期刊

机构

引用论文