.png){kind=icon}
返回
Refining visual token sequence for efficient image captioning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neunet.2025.107759.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在实际应用中，图像描述生成（IC）系统的准确性和速度均至关重要。近年来，基于Transformer的架构显著推动了IC领域的发展；然而，这些改进通常以增加计算复杂度和降低推理速度为代价。本文对IC模型的计算开销进行了全面分析，发现视觉编码过程占据了其中绝大部分开销。考虑到视觉信息中的冗余——其中许多区域对预测无关紧要或提供低信息量——我们提出了一种基于知识注入的视觉标记缩减模块。该模块评估每个标记的重要性，仅保留其中一部分。为最小化视觉语义损失，我们引入了标记融合与插入模块，通过复用被丢弃的标记和捕捉全局语义来补充视觉语义。基于此，我们的视觉标记序列精炼策略（简称RFI）部署在视觉骨干网络中的特定位置，以分层方式压缩视觉标记序列，从而在源头减少模型的整体计算开销。大量实验验证了所提方法的有效性，表明其能在不牺牲性能的前提下加速模型推理。此外，该方法允许在不同设置下灵活权衡准确性与速度。
期刊
IF:
6.3
论文数:
8.2K
被引数:
3.0W
机构
暂无机构信息
引用论文
.png){kind=icon}
分享收藏
查看更多内容