.png){kind=icon}
返回
Deep Reciprocal Learning for Image Captioning
.png){kind=icon}
PRE
AI
DOI：10.1109/TCSVT.2025.3539344.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于知识蒸馏的图像描述当前训练策略假定每个学习模型具有完整的学习价值，缺乏模型交互过程中的审查和指导机制。为解决此问题，我们受社会学习理论启发，提出了一种新颖的具有深度互惠学习的图像描述生成器（CaDReL），通过显著语义评估实现模型间的交互学习。在CaDReL中，我们分析每个学习网络的语义显著性，通过循环交替冻结和解冻两个具有相同审查机制的相同学习网络，以更好地控制知识蒸馏中的参数传递。我们还提出了一种新颖的级联桥接扩散模块，通过级联扩散机制融合编码器中不同视觉信息层级和注意力范围的特征信息，以捕捉丰富的图像细节和上下文信息。同时，提出了一种注意力引导的知识增强模块，利用两个同伴联合学习模块各自编码器的注意力图来引导知识传递，以提高整个训练策略的鲁棒性。实验结果表明，所提出的CaDReL在MSCOCO数据集上取得了优异性能，并超越了大多数现有最优方法。代码可在https://github.com/ZJ-VIP-Lab/Deep-Reciprocal-Learning-for-Image-Captioning获取。
Keyword:
Image captioning
deep reciprocal learning
knowledge distillation
cascade bridging diffusion
期刊
IF:
11.1
论文数:
865
被引数:
3.1W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容