MoR-ST: content-adaptive recursive computation for efficient vision transformers

doi:10.1007/s00371-026-04713-6

MoR-ST: content-adaptive recursive computation for efficient vision transformers

2026-09-03

0

PRE

AI

DOI：10.1007/s00371-026-04713-6

原文链接

原文求助

摘要

En 中文

视觉 Transformer 模型在计算机视觉领域取得了显著成功，其中 Swin Transformer 作为一种通用的层次化骨干网络，适用于分类、检测和分割任务。然而，模型规模的扩大带来了高昂的内存消耗和计算成本，阻碍了其在资源受限环境中的部署。本文提出 MoR-ST，一种内容自适应递归计算框架，将递归混合（MoR）范式整合到 Swin Transformer 架构中。其核心机制是一种自适应的令牌级递归策略：一个轻量级路由网络根据令牌的语义复杂度动态分配递归深度，使简单令牌（如背景区域）能够提前退出，而复杂令牌（如纹理物体）则进行更深入的加工。我们在三个标准基准上评估了 MoR-ST：ImageNet-1K/22K 图像分类、COCO 目标检测和 ADE20K 语义分割。实验结果表明，MoR-ST 在与原始 Swin Transformer 相当的精度下，参数量减少了约 50%，推理速度最高提升 2 倍。在 ImageNet-1K 上，MoR-Swin-T 以仅 15M 参数（Swin-T 为 28M）实现了 80.5% 的 Top-1 精度。在 COCO 检测中，MoR-Swin-B 以 44M 参数的骨干网络（Swin-B 为 88M；约 50% 的减少发生在骨干网络中，所有模型采用相同的 Mask R-CNN 头部架构，直至骨干网络依赖的接口层）实现了 51.9 的框 mAP。与沿空间维度不可逆丢弃信息的令牌剪枝方法不同，或与参数量随专家数量增长的专家混合模型不同，MoR-ST 沿深度维度操作：它在近恒定的参数预算下保留所有令牌，仅调整每令牌的递归深度。这种设计自然匹配了真实场景的空间异质性——大面积简单背景区域与少量复杂前景物体并存——使其特别适合资源受限的视觉计算部署。我们强调 MoR-ST 提供的是有利的效率-精度权衡而非精度提升：在 ImageNet-1K 上，它保持在 Swin-B 约 0.5 个百分点的范围内，同时将参数量减半并实现最高 2 倍加速，这一权衡的价值取决于部署场景，我们通过量化而非断言来体现。这些结果表明，自适应递归计算为构建适用于实时视觉计算应用的轻量级视觉骨干网络提供了有效途径。

Keyword:

Swin transformer

Mixture of recursions

Adaptive computation

Efficient vision backbone

Token-level recursion

Visual computing

MoR-ST: content-adaptive recursive computation for efficient vision transformers

摘要

期刊

机构

引用论文