.png){kind=icon}
返回
Leveraging Decoder Architectures for Learned Sparse Retrieval
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-02899-0_2.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
学习稀疏检索（LSR）传统上主要关注小型仅编码器Transformer架构。随着大规模预训练语言模型的兴起，它们在不同Transformer架构（包括仅编码器、仅解码器和编码器-解码器模型）上为检索任务生成稀疏表示的能力尚未得到充分探索。本研究探讨了LSR在这些架构中的有效性，并考察了各种稀疏表示头和模型规模。我们的结果显示，在零样本设置中使用大型语言模型创建有效的稀疏表示存在局限性，并识别出诸如不当的术语扩展和因缺乏扩展导致的性能下降等挑战。我们发现，采用多标记解码方法的编码器-解码器架构在三种骨干网络中表现最佳。虽然仅解码器模型的性能不如仅编码器模型，但它显示出在参数量扩大到较高水平时超越仅编码器模型的潜力。
Keyword:
Learned Sparse Retrieval
LLMs
Information Retrieval
期刊
K
IF:
0
论文数:
6
被引数:
0
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容