.png){kind=icon}
返回
Prompt-Partitioned Multi-task Learning for Universal Sentence Representations
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-5722-6_13.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
通用句子编码器旨在通过共享嵌入空间支撑广泛下游任务——语义相似度、文档检索和问答。然而，在单一模型中收敛异构监督往往引发语义干扰：冲突的目标将表示拉向不兼容的方向，并削弱跨任务泛化能力。我们引入了一种基于提示分区的多任务框架，通过轻量级、离散的提示（如[SEM]、[REL]、[QA]）前置在每个输入前，清晰隔离任务语义。这些提示引导编码器向任务特定子空间发展，而无需改变其架构。为进一步应对数据不平衡和标签噪声，我们设计了一个大语言模型（LLM）流水线，以提示感知的方式合成并严格筛选训练对。利用在68亿多语言句子对上训练的RoBERTa-base编码器，我们在涵盖分类、相似度、排序和检索的26个公开基准上进行了评估。我们的单塔方法在保持快速余弦推理的同时，持续优于强基线模型——包括SimCSE、E5和INSTRUCTOR。广泛的消融实验证实，提示分区和LLM增强监督对于观察到的多任务句子表示学习增益至关重要。
Keyword:
Sentence Embeddings
Multi-Task Learning
Prompt Engineering
期刊
W
IF:
0
论文数:
30
被引数:
0
机构
引用论文
Improved Universal Sentence Embeddings with Prompt-based Contrastive Learning and Energy-based Learning改进的通用句子嵌入：基于提示的对比学习和能量学习方法
OAAI
.png){kind=icon}
OAAI分享收藏Scaling Sentence Embeddings with Large Language ModelsJiang, 黄, 鞠, 王, 庄, https://aclanthology.org/2024.findings-emnlp.181. 使用大语言模型扩展句子嵌入, 在：Al-Onaizan, 班萨尔, 陈（编）, 计算语言学协会发现：EMNLP 2024, 美国佛罗里达州迈阿密, 2024年11月12-16日, 计算语言学协会, 2024, 第3182-3196页。https://aclanthology.org/2024.findings-emnlp.181
PREAI
分享收藏
查看更多内容