.png){kind=icon}
返回
A multi-task learning framework with prompt-based hybrid alignment for vision-language model
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neucom.2025.130121.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大规模预训练视觉语言模型已在多个领域展现出卓越性能，表明其具有巨大的应用潜力。实证研究揭示了特定跨领域任务关联性，这些关联性在现有研究中尚未得到充分利用，为未来探索提供了关键方向。先前工作已证实，联合多任务训练能够提升单个任务的性能。基于既定方法，我们提出了一种新颖的多任务框架——基于提示对齐的多任务框架（MTFPA），该框架能够在多任务场景下利用有限的图像数据高效协同调优预训练视觉语言模型。利用CLIP作为骨干架构，凭借其卓越的下游任务性能，我们引入了基于相关性的任务分组，并开发了多任务共享网络（MTSN）。该架构使单个任务能够从语义相关的组内任务中获取特征，同时保持部分组间任务关联性。MTSN参数通过所有任务的全面联合训练进行优化。在大型多任务数据集上的广泛实验表明，MTFPA相较于当前最优方法实现了更优性能，证实了视觉语言模型在多任务学习场景中具有卓越的潜力和广泛的应用价值。
Keyword:
Multi-task learning
Hybrid alignment
Prompt learning
Multi-modal learning
期刊
IF:
6.5
论文数:
2.5W
被引数:
6.5W
机构
引用论文
Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision, Language, Audio, and ActionUnified-IO 2：扩展包含视觉、语言、音频和动作的自回归多模态模型
PREAI
分享收藏Entire Space Multi-Task Model.png)
The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval
OAAI
The 41st International ACM SIGIR Conference on Research & Development in Information RetrievalIF0
OAAI分享收藏分享收藏Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-ExpertsProceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data MiningOAAI
Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data MiningIF0
OAAI分享收藏
查看更多内容