.png){kind=icon}
返回
VisionHub: Learning Task-Plugins for Efficient Universal Vision Model
.png){kind=icon}
PRE
AI
DOI：10.1109/TIP.2025.3611645.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于自然语言处理（NLP）中通用语言模型的成功，研究人员近期致力于开发能够在统一基础框架内处理广泛视觉任务的方法。然而，现有的通用视觉模型在适应快速扩展的下游任务范围时面临重大挑战。这些挑战不仅源于训练此类模型所需的巨额计算和存储开销，还源于其工作流程的复杂性，这使得高效适应变得困难。此外，这些模型往往无法为广泛的应用场景提供所需的性能和多功能性，主要因其视觉生成与感知能力不完善，限制了其泛化能力和在多样化场景中的有效性。本文提出VisionHub，一种新型通用视觉模型，旨在同时管理多种视觉恢复和感知任务，并提供简化的下游任务迁移能力。我们的模型采用Stable Diffusion中的冻结去噪U-Net架构作为骨干，充分利用其在视觉恢复和感知方面的内在潜力。为进一步提升模型灵活性，我们提出集成轻量级任务插件和任务路由器，它们无缝整合至U-Net骨干。该架构使VisionHub能够根据用户提供的自然语言指令高效处理各类视觉任务，同时保持极低的存储成本和运行开销。在11种不同视觉任务上的广泛实验展示了我们方法的高效性和有效性。值得注意的是，VisionHub在多种基准测试中取得有竞争力的性能，包括ADE20K语义分割的53.3% mIoU、NYUv2深度估计的0.253 RMSE以及MS-COCO姿态估计的74.2 AP。
Keyword:
Universal model
visual generation
visual perception
